2024年10月15日
稀疏Moe的并行训练
摘要： 1. router_logits 是必须要返回的吗，如果不返回router_logits，JambaSparseMoeBlock还是稀疏的吗 router_logits 并不是必须要返回的，但它在 Mixture of Experts (MoE) 模型中的作用是非常关键的。是否返回 router_l 阅读全文
posted @ 2024-10-15 16:11 wuhaoliu 阅读(45) 评论(0) 推荐(0)