十，专著研读（线性回归）

十，专著研读（线性回归）

• 分类问题输出离散型变量，回归输出连续型变量。
• 线性回归
  
  • 简单线性回归
    一元线性回归及其一元线性方程
    
    
    \(y=b+\omega x\)
    
    写成矩阵形式
    
    
    \(y=X^{T}\omega\)
    
    
  • 多元线性回归
    多元线性方程
    
    
    \(y=\omega _{0}+\omega _{1}x_{1}+\omega _{2}x_{2}+...+\omega _{n}x_{n}\)
    
    矩阵形式
    
    
    $ y=X^{T}\omega$
    
    
  • 线性回归的损失函数
    平方误差作为线性回归的损失函数
    
    
    \(SSE=\sum_{i=1}^{m}(y_{i}- \hat{y_{i}})^{2}=\sum_{i=1}^{m}(y_{i}- x_{i}^{T}\omega )^{2}\)
    
    用平方对于后续求导比较方便，用矩阵可以表示为
    
    
    \((y-X\omega )^{T}(y-X\omega )\)
    
    求导之后
    
    
    \(\hat{\omega }=(X^{T}X)^{-1}X^{T}y\)
    
    
  • 局部加权线性回归(LWLR)
    给待预测点附近的每个点赋予一定的权重，然后按照简单线性回归求解方法求解。
    解出回归系数w形式
    
    
    \(\hat{\omega }=(X^{T}WX)^{-1}X^{T}Wy\)