关键词:拥护向量机深度解析:从数学原理到工程实践的完整指南、核技巧、凸优化、软间隔、SMO、Python、Scikit-learn、工业缺陷检测
1. 关键概念:从几何直觉到凸优化
支持向量机(SVM)的本质是最大间隔线性分类器在特征空间中的凸二次规划(QP)问题。其关键概念可浓缩为:
| 概念 | 几何解释 | 代数形式 |
|---|---|---|
| 函数间隔 | 样本到超平面的“带符号”距离 | γ̂ = y |
| 几何间隔 | 归一化后的真实距离 | γ = γ̂ / ‖w‖ |
| 最大间隔 | 最小化 ‖w‖ 使 γ 最大 | min ½‖w‖² s.t. yᵢᵢ ≥ 1 |
| 软间隔 | 允许少量误分类 | 引入松弛变量 ξᵢ 与惩罚 C |
| 核技巧 | 隐式映射到高维 | Kᵢⱼ = φᵢ·φⱼ |
| KKT 条件 | 凸问题最优解充要条件 | αᵢ ᵢᵢᵢ = 0 |
2. 核心技巧:核函数选择、特征缩放、超参数网格搜索
| 技巧 | 工程落地要点 |
|---|---|
| 核函数 | 线性核(d ≫ n)、RBF(默认首选)、多项式(可解释性强) |
| 特征缩放 | 标准化到零均值单位方差,否则 RBF 失效 |
| 类别不平衡 | 采用 class_weight='balanced' 或手动调权 |
| 超参数 | C 控制间隔与训练误差权衡;γ 控制 RBF 半径 |
| 交叉验证 | 5×2 嵌套 CV 避免偏差;并行 GridSear |
浙公网安备 33010602011771号