2025年2月2日
https://avoid.overfit.cn/post/e57ca7e30ea74ad380b093a2599c9c01
摘要： DeepSeekMoE是一种创新的大规模语言模型架构，通过整合专家混合系统(Mixture of Experts, MoE)、改进的注意力机制和优化的归一化策略，在模型效率与计算能力之间实现了新的平衡。 DeepSeekMoE架构融合了专家混合系统(MoE)、多头潜在注意力机制(Multi-Head 阅读全文
posted @ 2025-02-02 10:29 deephub 阅读(13) 评论(0) 推荐(0) 编辑