摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 18:10
罗西的思考
阅读(8236)
评论(0)
推荐(7)
摘要： 
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
posted @ 2023-07-21 23:50
罗西的思考
阅读(2472)
评论(7)
推荐(3)
摘要：
前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54
罗西的思考
阅读(2993)
评论(4)
推荐(3)
摘要：
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02
罗西的思考
阅读(2694)
评论(0)
推荐(0)
摘要：
【Agent】生成式隐式记忆 MemGen 源码解读 目录【Agent】生成式隐式记忆 MemGen 源码解读0x00 概要0x01 背景0x02 源码解析2.1 模型2.1.1 核心特色2.1.2 网络结构2.1.3 代码2.1.4 插入阶段forwardgenerate核心作用核心特色推理生成流 阅读全文
posted @ 2025-11-10 19:50
罗西的思考
阅读(80)
评论(0)
推荐(1)
摘要：
【Agent】 ACE（Agentic Context Engineering）源码阅读笔记 （3）关键创新 目录【Agent】 ACE（Agentic Context Engineering）源码阅读笔记 （3）关键创新0x00 概要0x01 增量式 Delta 更新1.1 原理1.2 源码解读0 阅读全文
posted @ 2025-11-06 21:01
罗西的思考
阅读(99)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （2）训练 目录[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （2）训练0x00 概要0x01 AdapterBase1.1 定义1.2 核心流程1.3 主要 阅读全文
posted @ 2025-11-05 20:41
罗西的思考
阅读(114)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （1）基础模块 目录[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （1）基础模块0x00 概要0x01 示例1.1 建立简单Agent1.2 后续操作Load 阅读全文
posted @ 2025-11-04 21:58
罗西的思考
阅读(135)
评论(0)
推荐(0)
摘要：
MPK 包含内置 GPU 运行时系统，可在单个 GPU 巨型内核内完整执行任务图。这使得系统能在推理过程中无需额外内核启动的情况下，实现任务执行与调度的细粒度控制，以实现高吞吐量与低延迟。 阅读全文
posted @ 2025-11-02 20:58
罗西的思考
阅读(62)
评论(0)
推荐(1)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（4） 转译系统 目录MPK（Mirage Persistent Kernel）源码笔记（4） 转译系统0x00 概要0x01 Task和Event1.1 可执行任务1.1.1 任务定义1.1.2 任务类型1.2 事件1.2.1 事件 阅读全文
posted @ 2025-10-31 21:02
罗西的思考
阅读(46)
评论(0)
推荐(0)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口 目录MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口0x00 概述0x01 流程0x02 初始化0x03 定义计算图0x04 编译0x05 执行0xFF 参考 0x00 概述 因为转 阅读全文
posted @ 2025-10-29 21:12
罗西的思考
阅读(62)
评论(0)
推荐(0)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型 目录MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型0x00 概要0x01 机制1.1 当前问题1.2 解决方案1.2.1 μGraphs：多层次计算图表示1.2.2 阅读全文
posted @ 2025-10-26 15:33
罗西的思考
阅读(66)
评论(0)
推荐(1)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理 目录MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理0x00 概要0.1 传统LLM推理框架的瓶颈0.2 MPK的流程重构0.3 MPK的关键优势0x01 问题1.1 现有框架问题1 阅读全文
posted @ 2025-10-23 21:22
罗西的思考
阅读(82)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记 目录[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记0x00 概述0x01 ACE1.1 背景 阅读全文
posted @ 2025-10-19 20:31
罗西的思考
阅读(219)
评论(0)
推荐(0)
浙公网安备 33010602011771号