9.11

 SMO（Sequential Minimal Optimization，序列最小优化）算法的伪代码示例

输入: 训练数据集 {(x1, y1), (x2, y2),..., (xn, yn)}, 其中 xi 是特征向量，yi 是对应的类别标签（取值通常为 +1 或 -1），惩罚参数 C，核函数 K(xi, xj) 初始化: 选择合适的拉格朗日乘子向量 α = (α1, α2,..., αn)，初始化为 0 循环直到收敛（满足停止条件，例如达到最大迭代次数或者拉格朗日乘子的变化小于某个阈值）: 1. 选择两个拉格朗日乘子 αi 和 αj（选择方法有多种，比如可以选择违反KKT条件最严重的两个乘子等） 2. 固定其他拉格朗日乘子，仅针对 αi 和 αj 进行优化，计算它们新的取值 - 根据当前的 αi 和 αj 以及其他固定的乘子，计算预测误差 Ei 和 Ej，其中 Ei = f(xi) - yi，Ej = f(xj) - yj，f(x) 是基于当前拉格朗日乘子构建的决策函数，例如在简单线性可分情况下，f(x) = ∑(k = 1 到 n) αk * yk * K(xk, x) + b（b 为偏置项，初始可为 0） - 基于误差 Ei、Ej 和一些约束条件（例如 0 <= αi, αj <= C 以及线性约束 ∑(k = 1 到 n) αk * yk = 0 等），通过一定的计算公式更新 αi 和 αj 的值（计算公式较为复杂，涉及到当前的数据、标签、核函数以及误差等信息，具体推导基于对偶问题的优化条件等相关理论） 3. 更新偏置项 b： - 根据更新后的 αi 和 αj 以及对应的样本数据，通过合适的公式更新偏置项 b 的值，例如，如果 0 < αi < C，则 b = b1（b1 是根据对应的样本计算得出的一个临时值，涉及当前数据、标签、拉格朗日乘子以及核函数等信息），同理，如果 0 < αj < C，则 b = b2，可选择 b1 和 b2 的平均值等方式确定最终更新后的 b 值 4. 判断是否收敛： - 检查拉格朗日乘子的变化情况或者其他预设的收敛条件，如果满足收敛条件则退出循环，否则继续下一轮迭代，回到步骤 1 输出: 最终的拉格朗日乘子向量 α 和偏置项 b，基于它们可以构建支持向量机的决策函数用于分类预测等任务，例如决策函数形式如 f(x) = ∑(k = 1 到 n) αk * yk * K(xk, x) + b

该伪代码大致展示了 SMO 算法的主要步骤，其核心是每次选择两个拉格朗日乘子进行优化更新，同时相应地更新偏置项，不断迭代直至满足收敛条件，最终得到用于构建支持向量机分类模型的关键参数。