罗西的思考 - 博客园

2025年4月

探秘Transformer系列之（22）--- LoRA

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-03 19:47 罗西的思考阅读(2115) 评论(1) 推荐(2)

2025年3月

探秘Transformer系列之（21）--- MoE

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-31 20:57 罗西的思考阅读(4016) 评论(1) 推荐(2)

探秘Transformer系列之（20）--- KV Cache

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-30 09:58 罗西的思考阅读(4418) 评论(0) 推荐(1)

探秘Transformer系列之（19）----FlashAttention V2 及升级版本

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-28 20:02 罗西的思考阅读(2019) 评论(0) 推荐(1)

探秘Transformer系列之（18）--- FlashAttention

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-25 19:54 罗西的思考阅读(3195) 评论(1) 推荐(1)

探秘Transformer系列之（17）--- RoPE

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-23 13:31 罗西的思考阅读(1890) 评论(1) 推荐(4)

探秘Transformer系列之（16）--- 资源占用

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-21 19:56 罗西的思考阅读(1739) 评论(2) 推荐(1)

探秘Transformer系列之文章列表

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-21 18:10 罗西的思考阅读(7884) 评论(0) 推荐(7)

探秘Transformer系列之（15）--- 采样和输出

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-18 19:39 罗西的思考阅读(2261) 评论(0) 推荐(0)

探秘Transformer系列之（14）--- 残差网络和归一化

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-16 14:25 罗西的思考阅读(3038) 评论(1) 推荐(0)