2025年9月1日
大模型- moe技术汇总-95
摘要： 目录主流 MoE 架构核心组件回顾-基础 MoE 结构负载均衡（Load Balancing Loss）专家并行（Expert Parallelism）层级化 MoE（Hierarchical MoE / H-MoE）动态稀疏模式（Dynamic Sparsity）残差连接与专家融合（Residua 阅读全文
posted @ 2025-09-01 14:41 jack-chen666 阅读(28) 评论(0) 推荐(0)