[机器学习]结束理论的第八天

      终于在今天看完了机器学习的系列视频，入门就只剩下实践了。

      对于神经网络来说，由于网络结构是一层层的，因此代价函数也是每层进行计算，将每层的代价值算出来后计算总和，再加上所有参数平方和，即得到了最终的代价值。而要计算梯度，即代价函数的偏导数，要用到反向传播的算法，即从输出层开始，用结果的偏离值以及每一层的参数，逐层计算，最终得到偏导数。

      其中，有一些小细节。一个是如何确保梯度下降的正确性。这里要用到梯度检查，通过某一点加减一个很小的值，利用新的两个点得到一个斜率，并将这个斜率作为梯度的模拟，来检查梯度是否符合要求。另一个是参数初始值选择。初始为0会导致网络的失效，因此通过随机初始化使网络得以成功。