摘要：
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 18:10
罗西的思考
阅读(9613)
评论(0)
推荐(9)
摘要： 
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文
posted @ 2023-07-21 23:50
罗西的思考
阅读(2554)
评论(7)
推荐(3)
摘要：
前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54
罗西的思考
阅读(3021)
评论(4)
推荐(3)
摘要：
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02
罗西的思考
阅读(2711)
评论(0)
推荐(0)
摘要：
【Agent】MemOS 源码笔记 (4) KV Cache 目录【Agent】MemOS 源码笔记 (4) KV Cache0x00 概要0x01 原理1.1 技术路径1.2 对比1.3 协同工作0x02 定义2.1 KV Cache的记忆结构2.2 API总结 (KVCacheMemory)2. 阅读全文
posted @ 2025-12-10 21:21
罗西的思考
阅读(71)
评论(0)
推荐(0)
摘要：
【Agent】MemOS 源码笔记 (3) 搜索 目录【Agent】MemOS 源码笔记 (3) 搜索0x00 摘要0x01 分类0x02 混合搜索（Hybrid Search） Searcher2.1 定义2.2 核心函数2.3 依赖关系和关联关系2.3.1 依赖项（Searcher 依赖的组件） 阅读全文
posted @ 2025-12-08 20:24
罗西的思考
阅读(79)
评论(0)
推荐(0)
摘要：
【Agent】MemOS 源码笔记 (2) TreeTextMemory 目录【Agent】MemOS 源码笔记 (2) TreeTextMemory0x00 摘要0x01 基本概念1.1 特色1.2 定义1.3 记忆结构1.4 元数据字段1.5 API总结0x02 示例2.1 创建 TreeTex 阅读全文
posted @ 2025-12-01 21:15
罗西的思考
阅读(96)
评论(0)
推荐(0)
摘要：
【Agent】MemOS 源码笔记 (1)--基本概念 目录【Agent】MemOS 源码笔记 (1)--基本概念0x00 概要0x01 背景1.1 为什么需要MemOS1.2 MemOS 相关信息1.3 MemOS能做些什么0x02 原理2.1 记忆类型2.1.1 GeneralTextMemor 阅读全文
posted @ 2025-11-19 20:23
罗西的思考
阅读(198)
评论(0)
推荐(0)
摘要：
智能眼镜论文笔记 目录智能眼镜论文笔记0x00 概要0x01 论文内容总结1.1 AI for Service1.1.1 研究背景与核心范式1.1.2 核心技术挑战与解决方案1.1.3 Alpha-Service 框架设计1.1.4 思考1.2 EgoLife1.2.1 背景1.2.2 数据采集与数 阅读全文
posted @ 2025-11-13 21:58
罗西的思考
阅读(132)
评论(1)
推荐(0)
摘要：
【Agent】生成式隐式记忆 MemGen 源码解读 目录【Agent】生成式隐式记忆 MemGen 源码解读0x00 概要0x01 背景0x02 源码解析2.1 模型2.1.1 核心特色2.1.2 网络结构2.1.3 代码2.1.4 插入阶段forwardgenerate核心作用核心特色推理生成流 阅读全文
posted @ 2025-11-10 19:50
罗西的思考
阅读(261)
评论(0)
推荐(1)
摘要：
【Agent】 ACE（Agentic Context Engineering）源码阅读笔记 （3）关键创新 目录【Agent】 ACE（Agentic Context Engineering）源码阅读笔记 （3）关键创新0x00 概要0x01 增量式 Delta 更新1.1 原理1.2 源码解读0 阅读全文
posted @ 2025-11-06 21:01
罗西的思考
阅读(186)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （2）训练 目录[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （2）训练0x00 概要0x01 AdapterBase1.1 定义1.2 核心流程1.3 主要 阅读全文
posted @ 2025-11-05 20:41
罗西的思考
阅读(210)
评论(0)
推荐(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （1）基础模块 目录[Agent] ACE（Agentic Context Engineering）源码阅读笔记 （1）基础模块0x00 概要0x01 示例1.1 建立简单Agent1.2 后续操作Load 阅读全文
posted @ 2025-11-04 21:58
罗西的思考
阅读(315)
评论(0)
推荐(0)
摘要：
MPK 包含内置 GPU 运行时系统，可在单个 GPU 巨型内核内完整执行任务图。这使得系统能在推理过程中无需额外内核启动的情况下，实现任务执行与调度的细粒度控制，以实现高吞吐量与低延迟。 阅读全文
posted @ 2025-11-02 20:58
罗西的思考
阅读(93)
评论(0)
推荐(1)
浙公网安备 33010602011771号