摘要: 🧩 Mindspeed-LLM 的 MoE 实现机制与重写逻辑总览 Mindspeed-LLM 基于 Megatron-Core 的 MoE 框架,在运行前通过一系列 Monkey Patch / Wrapper 注册, 将 Megatron 的核心 MoE 模块(Experts 层、Router 阅读全文
posted @ 2025-10-19 12:47 cywuuuu 阅读(43) 评论(0) 推荐(0)
摘要: 昇腾学习笔记 Ascend Extension for PyTorch是什么 https://gitcode.com/Ascend/pytorch https://www.hiascend.com/document/detail/zh/Pytorch/710/fastexperience/faste 阅读全文
posted @ 2025-10-09 14:28 cywuuuu 阅读(50) 评论(0) 推荐(0)
摘要: OO完结撒花 阅读全文
posted @ 2022-06-20 14:16 cywuuuu 阅读(122) 评论(0) 推荐(0)
摘要: OO 第三单元总结 规格的阅读与实现心得 JML的阅读方法 语法上, 可以参考课程组的《JML level0手册》, 涵盖了基本的jml关键词和语法,看不明白的话可以多翻翻,类比着就搞懂了 阅读顺序上, 阅读JML可以从一些比较底层的类开始读, 比如Person, Message这种依赖关系比较少的 阅读全文
posted @ 2022-05-23 20:59 cywuuuu 阅读(238) 评论(0) 推荐(0)
摘要: 摸了 阅读全文
posted @ 2022-05-09 14:20 cywuuuu 阅读(132) 评论(0) 推荐(0)
摘要: 欢送电梯月~~~ 阅读全文
posted @ 2022-04-25 23:23 cywuuuu 阅读(358) 评论(1) 推荐(2)
摘要: 北航OO第一单元总结 阅读全文
posted @ 2022-03-22 18:03 cywuuuu 阅读(272) 评论(2) 推荐(1)