moe+diffusion language model (DLM)

Blog

代码：GitHub - JinjieNi/OpenMoE2: The official repo for "OpenMoE 2: Sparse Diffusion Language Models".
OpenMoE 2 是第一个 moe+diffusion language model (DLM) 的架构研究，并且会from scratch训一个完全开源的diffusion moe系列。

实际codebase：
GitHub - JinjieNi/MegaDLMs

posted @ 2025-10-31 10:40  jack-chen666  阅读(19)  评论(0)    收藏  举报