Regression

Regression

1. 什么是regression(回归)

regression：找到一个函数function，通过输入特征x，输出一个数值Scalar。

应用

• 股票预测(stock market forecast)
  • input: 过去十年股票的变动，新闻资询，公司并购咨询等
  • output: 预测股市明天的平均值
• 自动驾驶(self-driving car)
  • input: 无人车上各个sensor的数据
  • output: 方向盘的角度
• 推荐系统(recommendation)
  • input: 使用者A看到的商品B的特性
  • output: 购买商品的可能性

2. 实现回归的步骤

1. model——确定一个模型(线性)
2. goodness of function——确定评价函数
   1. 训练数据
   2. 计算模型预测的值与实际的值的距离
3. best function——找出最好的函数(梯度下降法gradient descent)
4. 回归结果分析

梯度下降法gradient descent

梯度：

• 在单变量的函数中，梯度就是函数的微分，代表函数再某个定点的切线的斜率。
• 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就是函数再给定点的上升最快的方向。

1. 考虑loss函数\(L(w)\)只有一个参数\(w\)

   1. 随机选取一个初始的点\(w^0\)
   2. 计算\(\frac{dL}{dw}|w=w^0\)
      1. 斜率<0: 向右移动增加\(w\)
      2. 斜率>0: 向左移动减小\(w\)
   3. 依据learning rate移动\(w\)
   4. 重复ii和iii，直到找到一个\(w^T\)使得loss最小

2. 考虑loss函数\(L(w,b)\)有两个参数\(w,b\)

   1. 随机选取两个初始的点\(w^0\)和\(b^0\)
   2. 计算\(\frac{dL}{dw}|_{w=w^0,b=b^0}\),\(\frac{dL}{db}|_{w=w^0,b=b^0}\)
   3. 依据学习率learning rate移动\(w\),\(b\)
   4. 重复ii和iii，直到找到一个\(w^T\)和\(b^T\)使得loss最小

如何使模型拟合得更好？

1. 选择另一个模型(可能会出现过度拟合overfitting的现象)
2. 考虑其他隐藏因素(考虑太多因素也可能出现过拟合的现象，说明有些因素和结果无关)

如何防止过拟合？——正则化regularization

• 操作: 考虑一个参数\(w\)，正则化就是在损失函数上加上一个与\(w\)（斜率）相关的值，若loss function越小，\(w\)也会越小，loss function就越平滑（function没那么大跳跃）
• 缺点: 正则化过度会导致bias增大