罗西的思考 - 博客园

[置顶] 第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》

摘要：

第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》目录第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》购买链接0x01 由来0x02 收获0x03 感谢0x04 遗憾0x05 打广告我的第二本书终于顺利出版了。这次是和清华大学出版社合作，本书的策划编辑是阅读全文

posted @ 2026-04-14 21:06 罗西的思考阅读(618) 评论(0) 推荐(2)

[置顶] 新书出版：《分布式机器学习——系统、工程与实战》

摘要：

## 0x01 广告经过一年多的努力，我的书《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。 ![](https://img2023.cnblogs.com/blog/1850883/202307/1850883-20230719224442070-381968133.jpg) 阅读全文

posted @ 2023-07-21 23:50 罗西的思考阅读(2985) 评论(7) 推荐(3)

2026年7月

【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (7)--- Policy Serving

摘要：【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 (7) Policy Serving 目录【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 (7) Policy Serving0x00 概要0x01 基础1.1 架构1.2 阅读全文

posted @ 2026-07-14 20:19 罗西的思考阅读(16) 评论(0) 推荐(0)

【机器人 / 强化学习】QAM 与 DIVL：评价-执行闭环的完美配合

摘要：【机器人 / 强化学习】QAM 与 DIVL：评价-执行闭环的完美配合目录【机器人 / 强化学习】QAM 与 DIVL：评价-执行闭环的完美配合0x00 概要0x01 为什么需要两个算法？1.1 先想清楚要解决什么问题1.2 闭环总览1.3 三阶段逻辑链条0x02 LWD 论文算法2.1 算法图例阅读全文

posted @ 2026-07-13 20:28 罗西的思考阅读(60) 评论(0) 推荐(0)

【机器人 / 强化学习】QAM：基于伴随匹配的 Q-learning 流策略优化

摘要：【机器人 / 强化学习】QAM：基于伴随匹配的 Q-learning 流策略优化目录【机器人 / 强化学习】QAM：基于伴随匹配的 Q-learning 流策略优化0x00 概要1.1 核心问题：Flow 策略的优化困境1.1 为什么 Flow 策略难以用 RL 优化？1.2 三种候选方案0x02 阅读全文

posted @ 2026-07-11 19:06 罗西的思考阅读(83) 评论(0) 推荐(0)

【机器人 / 强化学习】DIVL：分布隐式价值学习

摘要：【机器人 / 强化学习】DIVL：分布隐式价值学习目录【机器人 / 强化学习】DIVL：分布隐式价值学习0x00 概要0x01 从 IQL 到 DIVL：为什么标量不够用？1.1 IQL 的遗产：在已知数据中"沙里淘金"1.2 为什么平均数会骗人？1.3 从"给平均分"到"看清各种可能性"0x02 阅读全文

posted @ 2026-07-09 19:30 罗西的思考阅读(70) 评论(0) 推荐(1)

【机器人 / 强化学习】IQL（Implicit Q-Learning）：离线强化学习的隐式价值提取

摘要：【机器人 / 强化学习】IQL（Implicit Q-Learning）：离线强化学习的隐式价值提取目录【机器人 / 强化学习】IQL（Implicit Q-Learning）：离线强化学习的隐式价值提取0x00 概要1.1 核心哲学：在已知数据中"沙里淘金"1.1 离线学习的"贪婪陷阱"1.2 阅读全文

posted @ 2026-07-07 19:27 罗西的思考阅读(77) 评论(0) 推荐(0)

【机器人 / 强化学习】LWD（Learning while Deploying）机器人持续进化的强化学习框架

摘要：【机器人 / 强化学习】LWD（Learning while Deploying）机器人持续进化的强化学习框架目录【机器人 / 强化学习】LWD（Learning while Deploying）机器人持续进化的强化学习框架0x00 概要0x01 背景：为什么需要 LWD？1.1 真实世界不是一个阅读全文

posted @ 2026-07-06 19:35 罗西的思考阅读(69) 评论(0) 推荐(0)

【机器人 / 强化学习】HIL-SERL 工程篇：人类在环的工程架构与物理设计

摘要：【机器人 / 强化学习】HIL-SERL 工程篇：人类在环的工程架构与物理设计目录【机器人 / 强化学习】HIL-SERL 工程篇：人类在环的工程架构与物理设计0x00 概要0x01 系统架构总览1.1 逻辑架构1.2 物理拓扑1.3 部署拓扑与启动顺序1.4 独立运行的组件清单1.5 单步交互时阅读全文

posted @ 2026-07-03 20:09 罗西的思考阅读(113) 评论(1) 推荐(0)

【机器人 / 强化学习】HIL-SERL 算法篇：HG-DAgger 与 RLPD —— 从模仿到超越的训练双阶段

摘要：【机器人 / 强化学习】HIL-SERL 算法篇：HG-DAgger 与 RLPD —— 从模仿到超越的训练双阶段目录【机器人 / 强化学习】HIL-SERL 算法篇：HG-DAgger 与 RLPD —— 从模仿到超越的训练双阶段0x00 概要0x01 HG-DAgger 的核心思想：人类门控的阅读全文

posted @ 2026-07-01 20:14 罗西的思考阅读(109) 评论(0) 推荐(0)

2026年6月

【机器人 / 强化学习】HIL-SERL 算法篇：DQN + SAC 混合架构的实现哲学

摘要：【机器人 / 强化学习】HIL-SERL 算法篇：DQN + SAC 混合架构的实现哲学目录【机器人 / 强化学习】HIL-SERL 算法篇：DQN + SAC 混合架构的实现哲学0x00 概要0x01 HIL-SERL 的总体算法思路1.1 HIL-SERL 的算法基因图谱1.2 三类预训练/先阅读全文

posted @ 2026-06-30 19:57 罗西的思考阅读(97) 评论(0) 推荐(0)

【机器人 / 强化学习】HIL-SERL：人类在环驱动的具身智能进化框架

摘要：【机器人 / 强化学习】HIL-SERL：人类在环驱动的具身智能进化框架目录【机器人 / 强化学习】HIL-SERL：人类在环驱动的具身智能进化框架0x00 概要0x01 真机 RL 的"最后一公里"1.1 为什么需要人类在环？1.2 HIL-SERL 的解决方案：四条腿的凳子1.3 论文的核心成阅读全文

posted @ 2026-06-29 20:09 罗西的思考阅读(117) 评论(0) 推荐(0)

公告