罗西的思考 - 博客园

2025年5月

探秘Transformer系列之（34）--- 量化基础

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-05-24 14:47 罗西的思考阅读(1497) 评论(0) 推荐(0)

探秘Transformer系列之（33）--- DeepSeek MTP

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-05-17 09:55 罗西的思考阅读(3892) 评论(0) 推荐(2)

探秘Transformer系列之（32）--- Lookahead Decoding

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-05-10 10:02 罗西的思考阅读(1032) 评论(2) 推荐(0)

2025年4月

探秘Transformer系列之（31）--- Medusa

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-28 20:42 罗西的思考阅读(1574) 评论(2) 推荐(2)

探秘Transformer系列之（30）--- 投机解码

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-23 19:57 罗西的思考阅读(3892) 评论(4) 推荐(4)

探秘Transformer系列之（29）--- DeepSeek MoE

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-20 10:05 罗西的思考阅读(4312) 评论(3) 推荐(3)

探秘Transformer系列之（28）--- DeepSeek MLA

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-17 20:04 罗西的思考阅读(4828) 评论(10) 推荐(2)

探秘Transformer系列之（27）--- MQA & GQA

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-14 20:06 罗西的思考阅读(2610) 评论(4) 推荐(2)

探秘Transformer系列之（26）--- KV Cache优化---分离or合并

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-12 20:38 罗西的思考阅读(3962) 评论(0) 推荐(2)

探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列

摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。阅读全文

posted @ 2025-04-10 20:17 罗西的思考阅读(3539) 评论(0) 推荐(0)