littlecc

摘要： 优化器 - optimizer 优化器就是在深度学习反向传播过程中，指引损失函数（目标函数）的各个参数往正确的方向更新合适的大小，使得更新后的各个参数损失函数（目标函数）值不断逼近全局最小 优化器不计算梯度，他只是梯度的更新者，它决定了以什么样的形式更新参数 如果损失函数是一座山峰，优化器会通过梯度 阅读全文

摘要： 正向传播 尽量降低损失函数 梯度 梯度是一个向量（矢量），函数在一点处沿着该点的梯度方向变化最快，变化率最大。换而言之，自变量沿着梯度方向变化，能够使应变量（函数值）变化最大。 如图：如果想要 w 下降最快就沿着梯度的负方向下降，就能降低损失函数 方向传播 更新各个参数的值（如图中 w 的值），重新 阅读全文