摘要：对学习算法的修改——旨在减少泛化误差而不是训练误差 显著减少方差而不过度增加偏差。 【参数范数惩罚】 通常只对权重做惩罚而不对偏置做惩罚，原因是拟合偏置比拟合权重容易很多。 不同层使用不同惩罚的代价很大，会在所有层使用相同的权重衰减。 L2正则化的效果： 在Hessian阵特征值较大的方向，正则化的 阅读全文

摘要：前向网络：无反馈 feedback 连接 【输出单元】 线性 -- 高斯分布 、 sigmoid单元 -- bernoulli输出、 softmax单元 -- multinoulli 【隐藏单元】 整流线型单元： relu，不可微，但是在梯度下降中的表现依然很好。原因是只要接近局部最小值即可，不需要 阅读全文

摘要：【机器学习基础】 模型的 vc dimension 如何衡量？ 如何根据网络结构衡量模型容量？有效容量和模型容量之间的关系？ 统计学习理论中边界不用于深度学习之中，原因？ 1、边界通常比较松， 2、深度网络的容量估计非常困难，主要原因是受优化算法的能力限制！ 深度学习中正则化：偏向于范数较小的权重！ 阅读全文

摘要：【代数】 Moore-Penrose 伪逆 【概率信息论】 自信息，香农熵，衡量两个分布的差异：kl散度 \ 交叉熵 【数值】 溢出： softmax计算的时候要关注上溢和下溢，如果所有X都相等且为很小的负数的话，有分母为零的风险。 病态条件： 矩阵求逆对输入的误差可能很敏感，这样由于输入的不精确， 阅读全文

摘要：【放弃修改】 工作区 -- 暂存区 -- 本地仓库 -- 远程仓库 工作区 -- 暂存区： git diff git checkout . / git reset --hard 暂存区 -- 本地仓库 git diff --cached git reset + git checkout . git 阅读全文

摘要：打包命令：tar\zip 压缩命令：gzip 打包文件 tar -zcvf xxx/ tar -xvf xxx.tar z的意思是通过gzip压缩 c是create是生成打包的意思，x是解包 v是压缩的过程显示文件 f是使用档名，可以在后面直接接文件名 阅读全文