WWW26

可能更好的阅读体验 Jeefy's Blog: WWW26

A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems

• 会议: WWW 2026 (The ACM Web Conference)
• 主题: 云边协同学习、联邦学习、大语言模型微调

研究背景

• 云边系统中LLM和SLM协同训练的挑战：
  • 边缘设备资源受限，难以部署大模型
  • 设备间模型结构异构
  • 数据隐私保护需求
  • 领域异质性导致模型性能下降
• 现有方法局限：
  • FedLoRA：仅支持同构模型结构
  • FedAP：仅更新adapter，知识迁移有限
  • FedCoLLM/FedMKT：通信开销大，未充分考虑领域异质性

核心贡献

• 提出Co-PLMs框架：云边协同的LLM-SLM联合调优框架
• 支持异构模型结构：边缘设备可部署不同架构的SLM
• 两个关键组件：
  • Domain-Specific Tuning (DST)：保留领域特定知识
  • Structure-Agnostic Mutual Learning (SAML)：结构无关的双向知识迁移

方法架构

• DPM (Distilled Pre-trained Model)：
  • 从服务器端LLM蒸馏得到的小模型
  • 作为知识传输的中介
  • 使用LoRA进行参数高效微调
• Domain-Specific Tuning (DST)：
  • 在每个Transformer层插入domain adapter
  • 捕获设备本地的领域特定知识
  • 缓解领域异质性的负面影响
• Structure-Agnostic Mutual Learning (SAML)：
  • 设备端：DPM与本地SLM的双向知识迁移
  • 服务器端：聚合后的DPM与LLM的双向知识迁移
  • 通过token alignment实现不同结构模型间的知识传递

算法流程 (Algorithm 1)

• 初始化阶段：
  • 服务器初始化DPM
  • 将DPM分发到各设备，插入domain adapter
• 每轮训练：
  • 设备端：
    • 执行DST保留领域知识
    • DPM与本地SLM进行SAML
    • 上传LoRA参数到服务器
  • 服务器端：
    • 聚合各设备LoRA参数
    • DPM与LLM进行SAML
    • 分发更新后的参数到各设备

实验设置

• 数据集：SNI (Super-NaturalInstructions)、MMLU
• 设备端模型：Bloom-1.1B、LLaMA2-1.3B、Qwen2.5-1.5B
• 服务器端模型：GPT-J-6B
• 评估指标：Rouge-L、Exact Match (EM)
• DDS参数：λ ∈ {0.1, 1} 控制领域异质性程度
• 基线方法：Standalone、FedLoRA、FedAP、FedCoLLM、FedMKT

实验结果

• 同构设备设置：
  • 相比FedLoRA：Rouge-L提升2.38%-2.83%，EM提升2.35%-2.68%
  • 相比FedAP：Rouge-L提升5.53%-18.78%，EM提升4.98%-12.15%
• 异构设备设置：
  • 相比FedCoLLM：Rouge-L提升3.45%-7.05%，EM提升4.53%-9.93%
  • 相比FedMKT：Rouge-L提升2.58%-4.50%，EM提升2.85%-5.60%
• 相比Standalone：Rouge-L提升0.30%-12.50%，EM提升1.40%-13.10%

通信开销分析

• Co-PLMs：仅传输DPM可调参数，平均参数传输比例0.02%
• FedLoRA：传输LoRA矩阵，参数传输比例0.08%-0.21%
• FedAP：传输adapter参数，参数传输比例0.36%-0.47%
• FedCoLLM：传输LoRA模块，参数传输比例约0.21%-0.24%
• FedMKT：双向传输logits，参数传输比例0.27%-0.38%
• 结论：Co-PLMs在保持性能的同时显著降低通信开销

消融实验

• w/o DST (去除领域特定调优)：
  • Rouge-L下降1.70%-9.50%
  • EM下降0.60%-5.60%
  • 说明DST对缓解领域异质性至关重要
• w/o SAML (去除结构无关互学习)：
  • Rouge-L平均下降2.00%-5.10%
  • EM平均下降2.70%-4.65%
  • 说明SAML使LLM能有效参与协同学习

关键洞察

• 通过DPM作为中介，可实现异构模型间的知识迁移
• Domain adapter能有效捕获和保留本地领域知识
• 服务器端LLM的参与进一步提升整体模型性能
• 参数传输比例极低(0.02%)，适合资源受限的云边环境

未来工作

• 研究最优协同训练过程，显式考虑能耗成本
• 进一步提升框架在边缘-云系统中的能效

关键词：Cloud-Edge Collaboration, Federated Learning, LLM Fine-tuning, Knowledge Distillation, Parameter-Efficient Fine-Tuning