机器学习笔记(20.7): EdgeFM

可能更好的阅读体验 Jeefy's Blog: 机器学习笔记(20.7): EdgeFM

1. 核心算法流程

语义定制。 对无标注样本 \(x_i\)，云端 FM 提特征 \(z_i=\mathcal{T}_v(x_i)\)，边缘小模型投影特征 \(v_i=\psi(\mathcal{S}(x_i))\)。从文本池 \(\mathcal{T}\) 中取伪文本嵌入与置信度：

\[\hat{t}_i = \arg\max_{t_k \in \mathcal{T}} \langle z_i, t_k \rangle, \qquad w_i = \langle z_i, \hat{t}_i \rangle \]

训练损失为对齐损失 + 加权双向对比损失：

\[\mathcal{L} = \underbrace{\|z_i - v_i\|_2^2}_{\mathcal{L}_{\text{vis}}} + \underbrace{\frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} w_i \big[\lambda\, \ell_i^{v \to t} + (1-\lambda)\, \ell_i^{t \to v}\big]}_{\mathcal{L}_{\text{text}}} \]

内容感知上传。 用边缘小模型输出定义 margin 不确定性：

\[Unc(x_i) = sim_1(x_i) - sim_2(x_i) \]

仅上传 \(Unc(x_i) < V_{\text{thr}}^{up}\) 的样本；\(V_{\text{thr}}^{up}\) 经验取约 \(0.99\)。达到更新间隔后，周期下发新小模型与 text embedding pool。

运行时路由。 预测为边缘/云端凸组合：

\[P(\hat{y} \mid x) = r(x)\, P_{SM}(\hat{y} \mid x) + \big(1 - r(x)\big)\, P_{FM}(\hat{y} \mid x) \]

\[r(x) = \mathbf{1}\{Unc(x) \ge thre(t)\} \]

对阈值网格预计算 \((r(thre), acc(thre), \hat{t}_{e2e}(thre))\)，运行时按实时带宽 \(B(t)\) 更新：

\[\hat{t}_{e2e} = r \cdot t_{edge} + (1-r)\big(t_{trans} + t_{cloud}\big), \qquad t_{trans} \approx \frac{Dim}{B(t)} \]

再按精度优先或时延优先选择 \(thre(t)\)。

---

2. 存在的问题

• 伪标签自强化。 \(w_i\) 高不代表 \(\hat{t}_i\) 正确；错误伪嵌入会被对比损失持续放大：
  \[\hat{t}_i \text{ 错} \Rightarrow v_i \leftarrow \hat{t}_i \text{ 错} \Rightarrow Unc \text{ 被错误压低} \]

• 阈值敏感且依赖校准。 \(thre(t)\) 决定边缘/云比例；伪精度用 \(P_{FM}\) 当真值，FM 在难样本/新域上偏置会直接污染阈值表。
• 开放集 ≠ 分布漂移全覆盖。 主要建模类别集 \(\mathcal{Y}\) 变化；对 \(p(x)\) 明显漂移、传感器损坏、概念漂移的检测较弱。
• 文本池/prompt 依赖强。 类别描述、模板、文本嵌入质量上限明显；新增类别仍需用户给名称，语义相近类别会被 margin 压缩。
• 边缘仍非纯本地。 低带宽或高精度需求时仍依赖云端 FM，存在隐私、成本、可用性和上行拥塞问题。
• 小模型选择偏静态。 模型池查表基于离线公开数据指标，未与学生-教师匹配度、当前数据难度联合优化。

---

3. 可能改进方向

• 可靠伪标签与抗噪蒸馏。 引入温度校准、evidential/energy 置信度、样本重加权或噪声鲁棒损失，例如用
  \[\tilde{w}_i = \sigma\big(\alpha(w_i - \beta)\big) \cdot \mathbb{1}[\text{一致性通过}] \]
  替代原始 \(w_i\)，并用交叉样本一致性正则抑制伪标签漂移。
• 自适应阈值/门控路由。 用 contextual bandit 学习阈值策略，或直接学习门控 \(g_\phi(x, B(t))\) 替代硬阈值 \(\mathbf{1}\{Unc \ge thre\}\)，减少 margin 失真影响。
• 显式漂移与开放集检测。 增加 \(p(x)\) 漂移检验，如 MMD / energy score / EVM 头：
  \[s_{ood}(x) = -\log \sum_k e^{\langle v_i, t_k \rangle / \tau} \]
  对 OOD 单独触发云端查询/人工确认，而非只按 margin。
• 更强教师利用与参数高效适配。 云端对 FM 做 LoRA/adapter 的域适配，或 "Search-to-Distill / NAS 学生搜索"，让
  \[\max_{a \in \mathcal{A}} Acc(a; \mathcal{T}_{FM}) \quad s.t. \quad FLOPS_a \le C,\ Mem_a \le M \]

• 隐私与传输优化。 上传 embedding/梯度而非原始数据，结合差分隐私、梯度压缩、特征量化；对 FM 结果做缓存与局部重放，降低重复查询：
  \[\text{hit: reuse } (x \to \hat{y}), \qquad \text{miss \& uncertain: query FM} \]

核心改进主线：把 EdgeFM 的"固定阈值 + FM 伪真值"升级为"置信校准 + 门控路由 + OOD/漂移感知 + 可适配教师/学生搜索"。