CQzhangyu

摘要： [MoE] Tutel源码解读 前言 最近MoE变得火了起来。但我在和别人讨论MoE时，总有一些说不清楚地方，就算读了论文也一知半解。于是我决定还是要看一看具体的代码，看看每个细节究竟都是怎么实现的。 作为实现参考，Tutel这篇工作就很不错。最近的工作基本都拿Tutel作为Baseline比较，于 阅读全文