模型选择

数据-模型-学习

关键步骤、数学工具

• 1. 数据表示
  • 将原始数据转化为数值向量，强调特征工程、标准化与隐私保护。
• 2. 模型视角
  • 函数视角：预测器 \(f(x)\)，以经验风险最小化为训练目标
  • 概率视角：预测分布 \(p(y | x)\)，以最大似然或贝叶斯推断为训练目标
• 3. 学习机制
  • 点估计：ERM、MLE、MAP
  • 分布估计：贝叶斯推断、隐变量模型（EM、MCMC、变分推断）
• 4. 泛化保障
  • 正则化、先验
  • 交叉验证、嵌套交叉验证
  • 信息准则（AIC/BIC）、贝叶斯证据
• 5. 模型选择
  • 在复杂度与数据拟合之间权衡，避免过拟合与欠拟合

机器学习四大核心任务

回归、降维、密度估计、分类

回归

• 线性/非线性回归、贝叶斯线性回归

降维

• PCA、概率PCA、核PCA

密度估计

• 高斯混合模型、EM 算法、变分推断

分类

• 逻辑回归、支持向量机、高斯过程分类