机器学习笔记(14.1): Switch Transformer

[[Switch Transformers.pdf]]

和一般的 MoE 框架不同，其采用 Top-1 而不是 Top-k 设计

然后是一系列工程上的设计。待补。