机器学习笔记(20.5): ML-ECS

可能更好的阅读体验 Jeefy's Blog: ML-ECS

核心问题：

• 模态异构型
• 模型结构异构型

四个核心组件：

• CCL（Cross Modal Contrastive Learning）
  • 模态统一映射到一个潜空间
• AMT（Adaptive Multimodal Tuning）
  • 在联合学习中保持领域多模态知识
• MMA（Modality-aware Model Aggregation）
  • 减轻模态异构带来的参数噪声？（为什么会带来噪声？
• SE-CCL（SLM-Enhanced Cross-Modal Contrastive Learning）
  • 进行知识迁移（云边模型知识迁移）

两层框架：

• Cloud Server，全局有共有数据集 \(D'\)

• Edge Device \(\cal D\)，拥有私有数据集 \(D\)，和私有公开数据集 \(D_j'\)

• 所有模型被统一为 \(M=\{E, C, B\}\)，Extractor（特征提取），Connector，Backbone，那么 \(B^d\) 就是 dev 的 SLM，\(B^s\) 就是 server 的 LLM

• CCL

首先引入了一个衡量模态空间容量的一个公式：

\[{\bf V} = \sqrt {{\rm det}(A^T \cdot A)} \]