2025年2月16日
MoE
摘要： 参考： 文章 https://www.zhihu.com/tardis/bd/ans/3364787819 MoE优点： 训练速度更快，效果更好 相同参数，推理成本低 扩展性好 多任务学习能力 缺点： 训练稳定性差，需设计特别的损失函数 路由机制会增加通信的成本 模型复杂度高 稀疏性会导致过拟合 如 阅读全文
posted @ 2025-02-16 00:09 leleleocc 阅读(14) 评论(0) 推荐(0)