019_探秘Transformer - 随笔分类 - 罗西的思考

PyTorch KernelAgent 源码解读 ---（1）--- 原理

摘要：PyTorch KernelAgent 源码解读（1）原理目录PyTorch KernelAgent 源码解读（1）原理0x00 摘要0x01 背景知识1.1 需求1.2 内核范式1.3 Kernel Engineer1.4 LLM 优化1.5 LLM 任务任务输入任务输出1.6 挑战1. 阅读全文

posted @ 2026-05-11 20:40 罗西的思考阅读(316) 评论(0) 推荐(0)

第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》

摘要：

第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》目录第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》购买链接0x01 由来0x02 收获0x03 感谢0x04 遗憾0x05 打广告我的第二本书终于顺利出版了。这次是和清华大学出版社合作，本书的策划编辑是阅读全文

posted @ 2026-04-14 21:06 罗西的思考阅读(782) 评论(0) 推荐(2)

MPK（Mirage Persistent Kernel）源码笔记（5）--- 执行引擎

摘要：MPK 包含内置 GPU 运行时系统，可在单个 GPU 巨型内核内完整执行任务图。这使得系统能在推理过程中无需额外内核启动的情况下，实现任务执行与调度的细粒度控制，以实现高吞吐量与低延迟。阅读全文

posted @ 2025-11-02 20:58 罗西的思考阅读(267) 评论(0) 推荐(1)

MPK（Mirage Persistent Kernel）源码笔记（4）--- 转译系统

摘要：MPK（Mirage Persistent Kernel）源码笔记（4）转译系统目录MPK（Mirage Persistent Kernel）源码笔记（4）转译系统0x00 概要0x01 Task和Event1.1 可执行任务1.1.1 任务定义1.1.2 任务类型1.2 事件1.2.1 事件阅读全文

posted @ 2025-10-31 21:02 罗西的思考阅读(166) 评论(0) 推荐(0)

MPK（Mirage Persistent Kernel）源码笔记（3）--- 系统接口

摘要：MPK（Mirage Persistent Kernel）源码笔记（3）系统接口目录MPK（Mirage Persistent Kernel）源码笔记（3）系统接口0x00 概述0x01 流程0x02 初始化0x03 定义计算图0x04 编译0x05 执行0xFF 参考 0x00 概述因为转阅读全文

posted @ 2025-10-29 21:12 罗西的思考阅读(176) 评论(0) 推荐(0)

MPK（Mirage Persistent Kernel）源码笔记（2）--- 多层结构化图模型

摘要：MPK（Mirage Persistent Kernel）源码笔记（2）多层结构化图模型目录MPK（Mirage Persistent Kernel）源码笔记（2）多层结构化图模型0x00 概要0x01 机制1.1 当前问题1.2 解决方案1.2.1 μGraphs：多层次计算图表示1.2.2 阅读全文

posted @ 2025-10-26 15:33 罗西的思考阅读(276) 评论(0) 推荐(1)

MPK（Mirage Persistent Kernel）源码笔记（1）--- 基础原理

摘要：MPK（Mirage Persistent Kernel）源码笔记（1）基础原理目录MPK（Mirage Persistent Kernel）源码笔记（1）基础原理0x00 概要0.1 传统LLM推理框架的瓶颈0.2 MPK的流程重构0.3 MPK的关键优势0x01 问题1.1 现有框架问题1 阅读全文

posted @ 2025-10-23 21:22 罗西的思考阅读(482) 评论(0) 推荐(1)

探秘Transformer系列之（36）--- 大模型量化方案