摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 18:10
罗西的思考
阅读(7829)
评论(0)
推荐(7)
摘要： 
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
posted @ 2023-07-21 23:50
罗西的思考
阅读(2450)
评论(7)
推荐(3)
摘要：
前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54
罗西的思考
阅读(2984)
评论(4)
推荐(3)
摘要：
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02
罗西的思考
阅读(2685)
评论(0)
推荐(0)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口 目录MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口0x00 概述0x01 流程0x02 初始化0x03 定义计算图0x04 编译0x05 执行0xFF 参考 0x00 概述 因为转 阅读全文
posted @ 2025-10-29 21:12
罗西的思考
阅读(28)
评论(0)
推荐(0)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型 目录MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型0x00 概要0x01 机制1.1 当前问题1.2 解决方案1.2.1 μGraphs：多层次计算图表示1.2.2 阅读全文
posted @ 2025-10-26 15:33
罗西的思考
阅读(47)
评论(0)
推荐(1)
摘要：
MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理 目录MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理0x00 概要0.1 传统LLM推理框架的瓶颈0.2 MPK的流程重构0.3 MPK的关键优势0x01 问题1.1 现有框架问题1 阅读全文
posted @ 2025-10-23 21:22
罗西的思考
阅读(58)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记 目录[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记0x00 概述0x01 ACE1.1 背景 阅读全文
posted @ 2025-10-19 20:31
罗西的思考
阅读(153)
评论(0)
推荐(0)
摘要：
OpenAI Apps SDK：核心价值、竞争格局与发展猜想 目录OpenAI Apps SDK：核心价值、竞争格局与发展猜想0x01 从聊天工具到 “AI 操作系统” 的野心0x02 ChatGPT 与 Comet 浏览器的 “一站式” 对决0x03 AI 赛道的 “入口战” 0x01 从聊天工具 阅读全文
posted @ 2025-10-12 22:51
罗西的思考
阅读(103)
评论(0)
推荐(0)
摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-08 20:13
罗西的思考
阅读(2498)
评论(1)
推荐(2)
摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-02 20:22
罗西的思考
阅读(1879)
评论(0)
推荐(2)
摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-24 14:47
罗西的思考
阅读(1191)
评论(0)
推荐(0)
摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-17 09:55
罗西的思考
阅读(3159)
评论(0)
推荐(2)
摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-10 10:02
罗西的思考
阅读(822)
评论(2)
推荐(0)
浙公网安备 33010602011771号