摘要: http://www.cnblogs.com/pinard/p/5976811.html 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在1 阅读全文
posted @ 2018-05-15 23:42 小 楼 一 夜 听 春 雨 阅读(377) 评论(0) 推荐(0) 编辑
摘要: from https://www.cnblogs.com/pinard/p/5970503.html 在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在 阅读全文
posted @ 2018-05-15 23:39 小 楼 一 夜 听 春 雨 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 一、基本概念 梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是:x(k+1)=x(k)-a*g(k),其中a称为学习速率,可以是较小的常数。g(k)是x(k)的梯度。 二、导数 (1) 阅读全文
posted @ 2018-05-15 00:15 小 楼 一 夜 听 春 雨 阅读(1994) 评论(0) 推荐(0) 编辑