2020年1月16日
梯度优化、LR【原理+推导】
摘要： 1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数： 代数形式： 矩阵形式： 更新： 代数形式伪代码： 矩阵形式伪代码： 算法2：随机梯度下降SGD 每次迭代使用一个样本来对参数进行更新。 一个样本的损失函数： 代数形式伪代码： 矩阵 阅读全文
posted @ 2020-01-16 22:06 于者 阅读(1403) 评论(1) 推荐(0)