摘要：关于特征工程很棒的一篇博客。地址：https://www.cnblogs.com/jasonfreak/p/5448385.html 阅读全文

摘要：前向计算：没啥好说的，一层一层套着算就完事了 y = f( ... f( Wlayer2T f( Wlayer1Tx ) ) ) 反向求导：链式法则 单独看一个神经元的计算，z (就是logit）对 wi 的偏微分等于 xi ： 再看多层的情况，z 经过 激活函数得到 a，而 a 在下一层和 w3  阅读全文

摘要：θ* = argmin L(θ) 梯度方向：损失函数等高线的法线方向（切线方向，变化最快的方向） θt+1 = θt - ηg(θt) 关于梯度下降的Tips: 1. 调整学习率　adaptive learning rates 简单直觉的想法：训练刚开始的时候可以用比较大的学习率；经过一些epoch 阅读全文

摘要：误差来自于偏差和方差（bias and variance） 对于随机变量 X，假设其期望和方差分别为 μ 和 σ2。随机采样 N 个随机变量构成样本，计算算术平均值 m，并不会直接得到 μ （除非采样无穷多个样本点）。 假设 m 和 s2 是样本均值和样本方差，由于样本都是随机抽取的，m 和 s2  阅读全文