机器学习-线性回归

每个特征变量可以首先映射到⼀一个函数，然后再参与线性计算,模型如下：
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdot \cdot \cdot +{\theta }_n{x}_n$$
其中$x_1,x_2,...,x_n$表示自变量（特征分量），$y$表示因变量，$\theta$是权重，${\theta }_0$是偏移项（截距）;${\theta }_i$越大，说明$x_i$对$y$结果的影响越⼤
输入空间映射到特征空间(映射函数$\varphi (x)$)，建模.为
$$h_{\theta }(x)={\theta }^T\varphi (x)$$
特征映射相关技术，包括特征哈希、特征学习、Kernel等

目标函数

预测值$ h_\theta(x)$与真实值$y$之差越小越好，加入损失函数(平方损失函数):
$$J(\theta )=0.5\sum _{i=1}^n(h_{\theta }(x^i)-y^i{)}^2$$
求$minJ(\theta )$
损失函数就是$x^i$的预测值$h_{\theta }(x^i)$与真实值$y^i$之差的平方和

回归模型（尤其是线性回归类）的⽬目标函数通常⽤用平⽅方损失函数来作为优化的⽬目标函数

为什么用误差平方和作为目标函数：

根据中⼼心极限定理理，把那些对结果影响⽐比较⼩小的变量量（假设独⽴立同分布）之和认为服从正态分布是合理理的

如果数据是高斯分布的，输入值$x^i$，预测值${\theta }^T{x}^i$，真实值$y^i$，误差${ϵ}^i$，线性模型为，
$$y^i={\theta }^T{x}^i+{ϵ}^i$$
根据中心极限定理，认为变量之和服从高斯分布,即
$$e^i=y^i-{\theta }^T{x}^i$$
则，x,y的条件概率为
$$p(y^i|x^i;\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^i-{\theta }^T{x}^i{)}^2}{2{\sigma }^2})$$
$p(y^i|x^i;\theta )$越大，证明越接近真实值，还要考虑拟合过度以及模型的泛化能力问题

优化目标函数：使目标函数最小

最小二乘法
梯度下降法
    批量梯度下降法
    随机梯度下降法
拉格朗日乘子法

例子
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$