### 线性回归(Regression)

linear regression
logistic regression
softmax regression

#@author:       gr
#@date:         2014-01-21
#@email:        forgerui@gmail.com

一、linear regression

线性模型：

\[h_\theta(x) = \theta^T X \]

代价函数：
代价函数使用平方误差损失函数。

\[\min_\theta J(\theta) = \dfrac{1}{2} \sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2 \]

求解：
可以使用最小二乘法和梯度下降法。
最小二乘法：

\[\theta = (X^TX)^{-1}X^T \overrightarrow y \]

梯度下降法：
批梯度下降，增量梯度下降。更新参数，以使代价函数最小化。

二、logistic regression

逻辑回归模型：
输出 \(Y=1\) 的对数几率是由输入 \(x\) 的线性函数表示的模型，即logistic regression。

\[P(Y=1 \mid x) = \dfrac{1}{1+e^{-z}} = \dfrac{1}{1 + e^{-w \cdot x}} = \dfrac{e^{w \cdot x}}{1 + e^{w \cdot x}} \]

\[P(Y=0 \mid x) = 1- P(Y=1 \mid x) = \dfrac{1}{1 + e^{w \cdot x}} \]

求事件的对数几率：

\[logit(p) = log\dfrac{p}{1-p} = w \cdot x \]

对数几率是一个关于x的线性函数。

模型参数估计：
逻辑回归的参数估计可以采用极大似然估计求得。

$$\begin{align*} l(\theta) = & \Pi_{i=1}^N (p_i)^{y_i}(1-p_i)^{1-y_i} \\ = & \sum_{i=1}^{N} [y_i\log{(p_i)} + (1-y_i)\log{(1 - p_i)}] \\ = & \sum_{i=1}^{N} [ y_i \log{(\dfrac{p_i}{1-p_i})} + \log{(1-p_i)}] \\ = & \sum_{i=1}^N [y_i(w \cdot x_i) - \log{(1 + e^{(w \cdot x )})}] \end{align*} $$

对\(L(w)\)求极大值，就可以得到\(w\)的估计值。用梯度下降法或拟牛顿法求解。

损失函数：

1. Gold Standard
2. Hinge Loss
   SVM
3. Log Loss
   Logistic Regression、Softmax Regression
4. Squared Loss
   Linear Regression
5. Boosting

代价函数：
这里使用对数函数作为损失函数：

\[J(\theta) = -\dfrac{1}{m}[ ~ \sum_{i=1}^m y_i\log(h_\theta(x_i)) + (1-y_i)\log(1-h_\theta(x_i)) ~] \]

用梯度下降法或拟牛顿法求解。

三、softmax regression

模型：
对于多分类问题，\(y_i \in \{ 1, 2, \cdots , k\}\)。对于其中一类作为positive，则另外的k-1类就为negative。

$$ \begin{align*} h_\theta(x^{(i)}) = & \left[ \begin{array}{c} p(y^{(i)} = 1 \mid x^{(i)}, \theta) \\ p(y^{(i)} = 2 \mid x^{(i)}, \theta) \\ \vdots \\ p(y^{(i)} = k \mid x^{(i)}, \theta) \\ \end{array} \right] \\ = & \dfrac{1}{\sum_{j=1}^k e^{\theta_j^Tx^{(i)}}} \left[ \begin{array}{c} e^{\theta_1^T x^{(i)}} \\ e^{\theta_2^T x^{(i)}} \\ \vdots \\ e^{\theta_k^T x^{(i)}} \\ \end{array} \right] \end{align*} $$

用\(\theta\)将\(\theta_1，\theta_2, \ldots \theta_K\)罗列起来：

\[\theta = \left[ \begin{array}{c} \theta_1^T \\ \theta_2^T \\ \vdots \\ \theta_k^T \end{array} \right]\]

得到softmax回归的代价函数：

\[J(\theta) = -\dfrac{1}{m} [~ \sum_{i=1}^m \sum_{j=1}^k 1 \{y^{(i)} = j\}\log{\dfrac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{\theta_l^Tx^{(i)}}}} ~] \]

可以看出softmax是logistic的推广，同样用梯度下降法或拟牛顿法求解。

Reference

1. http://www.cnblogs.com/bzjia-blog/p/3366780.html
2. http://www.cnblogs.com/bzjia-blog/p/3370869.html
3. 李航 著 《统计学习方法》
4. http://blog.csdn.net/viewcode/article/details/8794401
5. http://blog.csdn.net/abcjennifer/article/details/7716281
6. Deva Ramanan 《Machine Learning》 Lecture1