2025年10月19日
华为昇腾笔记之Mindspeed-LLM 中 MoE 实现机制与重写逻辑总览
摘要： 🧩 Mindspeed-LLM 的 MoE 实现机制与重写逻辑总览 Mindspeed-LLM 基于 Megatron-Core 的 MoE 框架，在运行前通过一系列 Monkey Patch / Wrapper 注册， 将 Megatron 的核心 MoE 模块（Experts 层、Router 阅读全文
posted @ 2025-10-19 12:47 cywuuuu 阅读(43) 评论(0) 推荐(0)