随笔分类 -  机器学习笔记

摘要:在之前的学习中,我们给出了一个数学上关于梯度下降的定义,本次视频我们更深入研究一下,更直观地感受一下这个算法是做什么的,以及梯度下降算法的更新过程有什么意义。梯度下降算法如下: 描述:对𝜃赋值,使得𝐽(𝜃)按梯度下降最快方向进行,一直迭代下去,最终得到局部最小值。其中𝑎是学习率(learni 阅读全文
posted @ 2019-01-18 02:01 chalee3 阅读(696) 评论(0) 推荐(0)
摘要:梯度下降是一个用来求函数最小值的算法,我们将使用梯度下降算法来求出代价函数𝐽(𝜃0, 𝜃1) 的最小值。 梯度下降背后的思想是:开始时我们随机选择一个参数的组合(𝜃0, 𝜃1, . . . . . . , 𝜃𝑛),计算代价函数,然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持 阅读全文
posted @ 2019-01-16 16:06 chalee3 阅读(359) 评论(0) 推荐(0)
摘要:这是代价函数的样子,等高线图,则可以看出在三维空间中存在一个使得𝐽(𝜃0, 𝜃1)最小的点; 通过这些图形,我希望你能更好地理解这些代价函数𝐽所表达的值是什么样的,它们对应的假设是什么样的,以及什么样的假设对应的点,更接近于代价函数𝐽的最小值。 当然,我们真正需要的是一种有效的算法,能够自 阅读全文
posted @ 2019-01-13 12:45 chalee3 阅读(446) 评论(0) 推荐(0)
摘要:本节学习内容:通过使得θ = 0从而简化代价函数来初步了解代价函数的特性及作用原理。 阅读全文
posted @ 2019-01-13 04:58 chalee3 阅读(379) 评论(0) 推荐(0)
摘要:我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度,模型所预测的值与训练集中实际值之间的差距(下图中蓝线所指)就是建模误差(modeling error)。 我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数 最小。 代价函数也被称作平方误差函数,有时也被称 阅读全文
posted @ 2019-01-12 19:21 chalee3 阅读(600) 评论(0) 推荐(0)
摘要:在监督学习中我们有一个数据集,这个数据集被称训练集。 𝑚 代表训练集中实例的数量 𝑥 代表特征/输入变量 𝑦 代表目标变量/输出变量 (𝑥, 𝑦) 代表训练集中的实例 (𝑥(𝑖), 𝑦(𝑖)) 代表第𝑖 个观察实例 ℎ 代表学习算法的解决方案或函数也称为假设(hypothesis 阅读全文
posted @ 2019-01-12 16:50 chalee3 阅读(438) 评论(0) 推荐(1)