摘要：先看一下多层神经网络的结构图： 举个例子，图中的h1和h2代表两个网络层，在h1和h2层中各有一个激活函数，分别是φ11和φ21。 1.输入数据i1与权重W相乘，得Zin11，Zin11通过激活函数φ11得到Zout11. 2.Zout11继续与权重W相乘，得到Zin21，Zin21通过激活函数φ2 阅读全文

摘要：神经网络的学习目的是找到使损失函数的值尽可能小的参数，解决这个问题的过程称为最优化（optimization） 梯度下降法在每次迭代时，需要使用所有的训练数据，这给求解大规模数据的优化问题带来了挑战。 1.SGD 使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程 阅读全文

摘要：过拟合时加入正则化项为什么能减少过拟合，提高模型泛化能力？ 要降低模型的复杂度，来获得模型更好的泛化能力。而降低模型的复杂度有两条路径：一是进行降维，进行特征约减，这样可以减少模型参数的个数。二是对参数进行约束。使得参数的取值范围减少。而第二种方法就是加正则项。 增加了正则项之后，新的模型的假设空间 阅读全文