罗西的思考 - 博客园

2025年2月

探秘Transformer系列之（7）--- embedding

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-02-27 20:32 罗西的思考阅读(519) 评论(2) 推荐(3) 编辑

探秘Transformer系列之（6）--- token

posted @ 2025-02-24 20:02 罗西的思考阅读(349) 评论(0) 推荐(1) 编辑

探秘Transformer系列之（5）--- 训练&推理

posted @ 2025-02-22 09:54 罗西的思考阅读(456) 评论(0) 推荐(0) 编辑

探秘Transformer系列之（4）--- 编码器 & 解码器

posted @ 2025-02-20 20:42 罗西的思考阅读(544) 评论(0) 推荐(1) 编辑

探秘Transformer系列之（3）---数据处理

posted @ 2025-02-18 21:05 罗西的思考阅读(363) 评论(2) 推荐(0) 编辑

探秘Transformer系列之（2）---总体架构

posted @ 2025-02-15 09:37 罗西的思考阅读(850) 评论(1) 推荐(11) 编辑

探秘Transformer系列之（1）：注意力机制

摘要：探秘Transformer系列之（1）：注意力机制 0x00 概述因为各种事情，好久没有写博客了，之前写得一些草稿也没有时间整理（都没有时间登录博客和微信，导致最近才发现好多未读消息和私信，在这里和各位朋友说下万分抱歉）。现在恢复更新，是因为最近有些从非AI领域转过来的新同学来找我询问是否有比较好阅读全文

posted @ 2025-02-09 11:16 罗西的思考阅读(1623) 评论(6) 推荐(19) 编辑

2023年7月

新书出版：《分布式机器学习——系统、工程与实战》

摘要：

## 0x01 广告经过一年多的努力，我的书《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。 ![](https://img2023.cnblogs.com/blog/1850883/202307/1850883-20230719224442070-381968133.jpg) 阅读全文

posted @ 2023-07-21 23:50 罗西的思考阅读(1784) 评论(7) 推荐(3) 编辑

2022年5月

[源码解析] TensorFlow 分布式之 ClusterCoordinator

摘要：本文我们主要来看看ParameterServerStrategy如何分发计算，也就是ClusterCoordinator如何运作。这是TF分布式的最后一篇。阅读全文

posted @ 2022-05-21 11:45 罗西的思考阅读(570) 评论(0) 推荐(0) 编辑

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2

摘要：对于 ParameterServerStrategy V2，我们将从几个方面来研究：如何与集群建立连接，如何生成变量，如何获取数据，如何运行。其中，变量和作用域我们在前文已经研究过，运行在 MirroredStrategy 里面也介绍，所以本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。阅读全文

posted @ 2022-05-14 08:08 罗西的思考阅读(918) 评论(0) 推荐(1) 编辑

公告