机器学习2
机器学习第二集讲的是监督学习，也可以说是回归问题，m：#training example number，x：input variable，y：output variable，（x， y）：training example，（xi，yi）：第i个training example，举例一个房屋的一些特征与价格序列之间的回归问题，
define x0=1，假设回归模型为：
，定义J函数，也就是误差函数，回归模型的最优参数也就是根据样本不停训练得到误差函数最小，
，对于n个特征数目，对应n个参数，每个参数的更新：
，化简过程：
，
，了解了化简过程以后，下面就是2个梯度下降算法，第一个是批梯度下降:
,意思是对于每个参数不断用整个样本set进行迭代直到参数收敛为止，注意是每个参数都要用整个样本集进行迭代，所以运算量很大，a是步长的意思，在空间里描述梯度下降算法时也就是每次值下降的步长，如果步长过小，得到最优值的时间肯定要长点，步长太大就会有可能在未来的某次得到最小值误差大原因就是得到的值和全局最优差的距离大。
还有一种方面计算的是随机梯度下降：
，对于每个参数每次只用一个样本训练迭代，也就是说每个参数迭代m次。
课程最后介绍了一种利用矩阵的化简方法，得到了化简后的表达式，并且得到的直接就是全局最优的解，具体的过程有点复杂，用到了矩阵的迹，过程就不贴了，有兴趣的可以去看看课程的handout，给我结果：
，以上的公式都是从handout里面贴过来的。
下面通过一些网上的资料查找，我看了下批梯度和随机梯度的主要区别，做了归纳：
2013-10-07 16:36:28
浙公网安备 33010602011771号