机器学习笔记(18.2): SLM-MUX

可能更好的阅读体验 Jeefy's Blog: SLM-MUX

整体是一个三阶段方案

（1）SLM-MUX 架构

• 独立生成阶段：每个 SLM 对同一问题以温度 > 0 独立采样 k 个答案；
• 置信度估计阶段：取每个模型的众数答案，以该答案在采样中的出现频率作为置信度分数；选置信度最高的模型的答案作为最终输出；若打平，则用各模型在验证集上的历史准确率破平局。

（2）模型选择搜索

• 目标函数：O(S) = UnionAcc(S) − λ·Contradiction(S)。UnionAcc（并集准确率）衡量组合覆盖正确解的能力上限；Contradiction Penalty 惩罚"某模型自信地错、压制了其他模型的正确答案"的情形。
• λ=0 对应乐观上界，λ=1 对应悲观下界，实际目标在两者之间估计组合的真实精度；由于候选池不大，直接穷举搜索。

（3）算力扩展

• 两个维度：增加参与模型数量（每个预算下用搜索找最优组合）、增加每模型采样数（更准的置信度估计）。
• 实验发现：GSM8K/GPQA 上 2 个模型即饱和甚至下降，MATH 上随模型数持续上升——说明存在精度-算力的单峰曲线，而非越多越好。

---

理论分析：

设 \(\gamma\) 表示最优模型和次优模型的正确率差值，称为优势间隔。

假如说采样 \(N\) 次，每个模型的正确率为 \(p_i\)，则采样到正确答案的期望为 \(N p_i\)。

这里有个假设，错误答案分配 \(1 - p_i\) 的概率密度，认为不存在错误答案的生成概率 \(> p_i\)。

对于自信的错的情况，在 Contradiction 中已经有所处理，在选模型阶段把它们筛掉。

根据 Hoeffding 集中不等式，设 \(a_t \le X_t \le b_t\)：

\[P(| \bar X - {\mathbb E} \bar X | \ge t) \le \exp \left( \frac {-2 N^2 t^2}{\sum (b_t - a_t)^2} \right) \]

这个很像大数定理的定量版本

可以得到：

\[P(| \hat s_i - p_i| \le \frac {\gamma} 2) \le \exp \left(-\frac {N^2 \gamma^2}{2}\right) \]

这里 \(\hat s_i\) 表示选择正确答案的概率。也就是说，这里正确率随采样次数平方指数级收敛于 \(p_i\)（最优）

---

另一个分析是从二项式定理来的：