孤独的圈

摘要： 感知器算法（The perceptron algorithm）和牛顿法（The Newton's method）感知器算法： 在前面讲的逻辑回归中，g(z)采用的是sigmoid函数；而在感知器算法中，g(z)采用阶跃函数： 同样，让hθ(x) = g(θTx)，更新策略为： 这就是感知器学习算法。牛顿法： 牛顿法原本是用来寻找一个函数的零点的，采用如下的更新策略： 同样，我们可以用牛顿下降法来寻找一个函数的最大值点，采用下面的更新策略： 在逻辑回归中，我们用牛顿法来代替... 阅读全文

摘要： 逻辑回归（Logistic regression） 前面几篇文章都是在讨论回归问题，从这一部分开始，过渡到分类问题。第一篇文章中曾经写过：如果输出值为连续值，则可归为回归问题；如果输出值为若干离散值，则为分类问题。 从最简单的问题开始，我们假设输出值y只有两个值{0,1}。这时，如果用线性回归，我们很难找到符合要求的线性函数，于是，采用另一种回归——逻辑回归。 在线性回归中，我们假设其“规律”为一个线性函数： 而在逻辑回归中，我们假设其“规律”为一个逻辑函数： 其中， 称为逻辑函数或sigmoi... 阅读全文