机器学习回归分类

• Logit模型的经济学含义：PM10保持不变的时候，PM2.5增加一个单位，取1与取0的概率比增加e^0.05（优势比）
• 树的形式表示推理规则集
• 多项式的几何理解：y=x+x² 是3维空间中的平面在2维空间中的曲线
• 参数估计
  • 回归预测中的平方损失函数
  • 分类预测中的交互熵 p.s.K是类，二分类预测的指数损失函数，多分类情况用softmax函数
    • 交叉熵
    • 负号的作用：真实值*概率，概率越大，损失越小。
  • 搜索策略：梯度下降法
• 预测模型的评价：模型误差、泛化误差
  • 混淆矩阵
  • 敏感性、特异性

  • 查准率P（真阳占所有查出来的阳）、查全率R（真阳占所有本身的阳）

  • F1
  • Fvalue
  • 多分类模型
    • 建模策略：一对一，一对多
    • 微平均、宏平均
  • ROC取不同的概率阈值——计算TPR、FPR
    • 
    • 什么情况比较好？单个模型：横轴增加，纵轴迅速增加；模型比较：包住
    • (b)图也可以帮助确定概率阈值
  • P-R曲线
• 模型选择的基本原则：奥克姆剃刀原则、避免过拟合，把噪声包含在内，保证模型泛化能力
• 预测模型的偏差—方差分解：增加模型复杂度，降低偏差，但方差会增加
• 调参是在调什么：模型如何在偏差、方差取得平衡