2025年2月27日
[MoE] Deepseek的All-to-all通信: DeepEP代码解读
摘要： [MoE] Deepseek的All-to-all通信: DeepEP代码解读 前言 最近，Deepseek开源了一系列MoE的优化技术，让我们看到了AI infra的强大之处。其中，第二天发布的DeepEP则是针对MoE中EP的all-to-all通信进行了优化。 我最近也在关注MoE和all-t 阅读全文
posted @ 2025-02-27 18:04 CQzhangyu 阅读(10008) 评论(2) 推荐(4)