罗西的思考 - 博客园

2025年3月

探秘Transformer系列之（18）--- FlashAttention

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-25 19:54 罗西的思考阅读(4277) 评论(1) 推荐(1)

探秘Transformer系列之（17）--- RoPE

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-23 13:31 罗西的思考阅读(2772) 评论(1) 推荐(5)

探秘Transformer系列之（16）--- 资源占用

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-21 19:56 罗西的思考阅读(2429) 评论(2) 推荐(2)

探秘Transformer系列之文章列表

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-21 18:10 罗西的思考阅读(12543) 评论(0) 推荐(13)

探秘Transformer系列之（15）--- 采样和输出

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-18 19:39 罗西的思考阅读(3094) 评论(2) 推荐(1)

探秘Transformer系列之（14）--- 残差网络和归一化

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-16 14:25 罗西的思考阅读(4238) 评论(1) 推荐(1)

探秘Transformer系列之（13）--- FFN

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-14 19:42 罗西的思考阅读(7136) 评论(0) 推荐(3)

探秘Transformer系列之（12）--- 多头自注意力

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-11 19:18 罗西的思考阅读(5512) 评论(5) 推荐(4)

探秘Transformer系列之（11）--- 掩码

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-08 10:18 罗西的思考阅读(6679) 评论(0) 推荐(2)

探秘Transformer系列之（10）--- 自注意力

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-03-05 20:37 罗西的思考阅读(3472) 评论(0) 推荐(2)