摘要：#本文参考斋藤康毅的《深度学习入门》 一、参数的更新 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化(optimization)。 SGD: 为了找到最优参数，我们将参数的梯度(导数)作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复 阅读全文