[斯坦福大学2014机器学习教程笔记]第四章-多元梯度下降法

    在这节中，我们将介绍如何设定该假设的参数，我们还会讲如何使用梯度下降法来处理多元线性回归。

    首先，我们回顾一下上节的知识点。

• 假设形式：h_θ(x)=θ^TX=θ₀x₀+θ₁x₁+θ₂x₂+θ₃x₃+……+θ_nx_n。（x₀=1）
• 参数：θ₀，θ₁，θ₂，……，θ_n。我们也可以把它想象成一个n+1维向量。
• 代价函数：J(θ₀,θ_1，……，θn)=(1/2m)Σ(h_θ(xⁱ)-yⁱ)²。（通过误差项的平方和来给定）但是，我们可以不把J看作是这n+1个数的函数，我们可以把它看作是参数θ这个向量的函数。所以J(θ₀,θ_1，……，θn)也可以写作J(θ)。
• 那么，我们就可以得出梯度下降的式子，如下所示。

    我们要不断通过θ_j减去α乘以导数项来更新每个θ_j参数。

    接下来，让我们看一下执行梯度下降时是怎么样的。

    我们先来回顾一下之前讨论过的内容（即当n=1时的情况）。

    在n=1的情况下，我们有两个独立的更新规则，分别对应参数θ₀和θ₁。

    那么当n≥1时，我们有

    所以，我们就能得到可行的用于多元线性回归的梯度下降法。当我们有多个特征量时，我们会有多个更新规则来更新参数θ₀，θ₁，θ₂，……。

    当我们观察θ₀的更新规则，和之前n=1的时候的式子其实是一样的。它们一样的原因是，我们约定了x₀⁽ⁱ⁾=1。当我们观察θ₁的更新规则，和之前n=1的时候的式子其实是等效的。但是，我们要注意，我们使用了x₁⁽ⁱ⁾来表示第一个特征量。现在我们有多个特征量，所以我们也有多个相似的更新规则。