HuZihu

摘要： 梯度下降算法的任务是寻找参数θ，使之能够最小化损失函数。 那么梯度下降法中的学习速率α应该如何选择呢？通常我们画出损失函数随迭代次数增加而变化的曲线。 可能会得到如下的一条曲线，x轴表示迭代次数，y轴表示梯度下降算法迭代相应次数之后算出的损失函数值。 可以看到，当迭代300次之后，损失函数的值并没有 阅读全文

摘要： 在《机器学习 线性回归（Machine Learning Linear Regression）》一文中，我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法。现在，让我们来实践一下吧。 先来回顾一下用最小二乘法求解参数的公式：。 （其中：，，） 再来看一下随机梯度下降法（Stochastic 阅读全文