机器学习第一周笔记

第一周讲的都是些简单东西，鼓吹了一番，介绍了监督学习和无监督学习，区分什么情形下属于哪种学习（做课后题的时候有一个观察一些样本在测试某种新药下的反应，在这个题上卡了很久，后来明白了觉得属于聚类）

预测函数：（这节讲的是线性回归）

代价函数：

可以把它类比为方差，真实值对应平均值，预测值对应每个具体的值，只是前面加了一个系数，为了方便后面参数theta的求偏微分（求导）迭代更新乘了个0.5。

通过对代价函数求最小值得到一个理论上的最优模型

梯度下降：

通过更新theta值来减小代价函数值（梯度下降得到的是可能是极小值或最小值）

如果把theta0赋值为0，只有一个参数theta1时，红括号里的就是代价函数在某点theta1上的斜率。（如果有多个参数的话该怎么理解？）

埃尔法的值太多的话可能会跳过代价函数的极小值点，最后不能收敛；太小的话迭代的过程会非常慢，在迭代的过程中，斜率的绝对值会越来越小，选择一个合适的埃尔法后不用担心它会在极值点附近跳过极值。