[斯坦福大学2014机器学习教程笔记]第六章-决策界限(decision boundary)
这一节主要介绍的是决策界限(decision boundary)的概念，这个概念可以帮组我们更好地理解逻辑回归的假设函数在计算什么。
首先回忆一下上次写的公式。
现在让我们进一步了解这个假设函数在什么时候会将y预测为1，什么时候会将y预测为0。并且更好地理解假设函数的形状，特别是当我们的数据有多个特征值时。具体地说，这个假设函数输出的是给定x和参数θ时，y=1的估计概率。
所以，如果我们想预测y=1还是等于0。该假设函数输出y=1的概率大于等于0.5，此时预测的为y=1，小于0.5预测的就是y=0。（实际上，当输出概率为0.5时，可以预测为y=1，也可以预测为y=0）
仔细观察sigmoid函数图像，就可以发现只要z ≥ 0，g(z)就大于等于0.5，因此在曲线图的右半边，g的取值都是大于等于0.5的。
由于逻辑回归的假设函数hθ(x)=g(θTx)，所以只要θTx ≥ 0，那么hθ(x)就会大于等于0.5，此时假设函数将会预测为y=1。同样，我们考虑假设函数预测为y=0的情况。当hθ(x) ＜ 0.5的时候，就会预测y=0。而只要θTx ＜ 0，那么g(θTx)就会小于0.5，即hθ(x)就会小于0.5。
对上述做个小结：
1.我们预测y=0还是y=1取决于输出的概率值。（概率大于等于0.5预测y=1，小于0.5预测y=0）
2.想要预测结果为 y=1，就要保证θTx ≥ 于0；想要预测结果为 y=0，就要保证θTx ＜ 0。
接下来，假设我们有一个训练集。我们的假设函数是hθ(x)=g(θ0+θ1x1+θ2x2)，我们将在下一节讨论如何拟合此模型中的参数，此时假设我们已经拟合好了参数。在这里，我们选这里θ0=-3，θ1=1，θ2=1。这意味着此时的参数向量θ=[-3,1,1]T。接下来，尝试找出该假设函数何时将预测y=1，何时将预测y=0。
根据之前小结的，y=1的概率大于等于0.5时，就预测y=1，小于0.5时就预测y=0。换句话说就是：想要预测结果为y=1，就要保证θTx ≥ 0；想要预测结果为y=0，就要保证θTx ＜ 0。而在这个例子中θTx就是-3+x1+x2。所以，在这个例子中，只要 -3+x1+x2 ≥ 0，那么预测的就会是y=1，-3+x1+x2 ＜ 0，那么预测的就会是y=0。当然也可以将 -3+x1+x2 ≥ 0 改写为 x1+x2 ≥ 3。
接下来我们可以在图像上观察这个式子。
图上洋红色的直线为x1+x2 = 3 。该线上方的区域为预测y=1的区域，下方区域为预测y=0的区域。这条线被称为决策边界。具体地说，x1+x2 = 3这条直线对应的一系列的点对应的是hθ(x)=0.5的点。决策边界将整个平面分成了两个部分。一部分区域预测y=1，另一部分预测y=0。
决策边界是假设函数的一个属性，它包括参数θ0、θ1和θ2。在上图中，是画了训练的数据集的。需要明确的是：即使没有画出数据集，只要参数给定，这条决策边界以及两部分区域都是确定的。它们都是假设函数的属性，取决于参数，而不是取决于数据集。
接下来，我们看一个更复杂的例子。在图中x表示的是正样本，圆圈表示的是负样本。
现在的问题是：当给定一个这样的数据集之后，我们要如何使用逻辑回归来拟合这些数据。
之前，当我们讲解多项式回归或线性回归时，我们谈到了可以在特征中添加额外的高阶多项式项。同样的，我们也可以对逻辑回归使用同样的方法。具体地说，假设现在的假设函数是hθ(x)=g(θ0+θ1x1+θ2x2+θ3x12+θ4x22）。现在添加了两个额外的特征x12和22，所以现在有五个参数，从θ0一直到θ4。现在假设θ0=-1，θ1=0，θ2=0，θ3=1，θ4=1。这意味着此时的参数向量θ=[-1,0,0,1,1]T。根据之前的讨论，这意味着当-1+x12+22 ≥ 0时，将预测y=1，当-1+x12+22 < 0时，将预测y=0。同样的，-1+x12+22 ≥ 0 可以写成 x12+22 ≥ 1。此时的决策边界就为x12+22 = 1。
决策边界如图所示。此时圈外的区域为预测y=1的区域，圈内的区域为预测y=0的区域。
通过在特征中增加这些复杂的多项式，可以得到更复杂的决策边界。
再次强调：
决策边界不是训练集的属性，是假设本身和其参数的属性。只要给定了参数向量θ，决策边界就可以确定。我们不是用训练集来确定决策边界，而是用训练集来拟合参数。
当我们有更高阶多项式，我们得到的决策边界也是更复杂的。逻辑回归可以用于寻找决策边界。
