随笔分类 -  006_深度学习

1 2 3 4 5 ··· 9 下一页
深度学习
探秘Transformer系列之（36）--- 大模型量化方案
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-08 20:13 罗西的思考 阅读(2595) 评论(1) 推荐(2)
探秘Transformer系列之（35）--- 大模型量化基础
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-02 20:22 罗西的思考 阅读(1952) 评论(0) 推荐(2)
探秘Transformer系列之（34）--- 量化基础
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-24 14:47 罗西的思考 阅读(1262) 评论(0) 推荐(0)
探秘Transformer系列之（33）--- DeepSeek MTP
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-17 09:55 罗西的思考 阅读(3270) 评论(0) 推荐(2)
探秘Transformer系列之（32）--- Lookahead Decoding
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-10 10:02 罗西的思考 阅读(858) 评论(2) 推荐(0)
探秘Transformer系列之（31）--- Medusa
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-28 20:42 罗西的思考 阅读(1387) 评论(2) 推荐(2)
探秘Transformer系列之（30）--- 投机解码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-23 19:57 罗西的思考 阅读(3083) 评论(3) 推荐(4)
探秘Transformer系列之（29）--- DeepSeek MoE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-20 10:05 罗西的思考 阅读(3888) 评论(3) 推荐(2)
探秘Transformer系列之（28）--- DeepSeek MLA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-17 20:04 罗西的思考 阅读(4190) 评论(10) 推荐(2)
探秘Transformer系列之（27）--- MQA & GQA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-14 20:06 罗西的思考 阅读(2203) 评论(4) 推荐(1)
探秘Transformer系列之（26）--- KV Cache优化---分离or合并
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-12 20:38 罗西的思考 阅读(3495) 评论(0) 推荐(2)
探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-10 20:17 罗西的思考 阅读(3098) 评论(0) 推荐(0)
探秘Transformer系列之（24）--- KV Cache优化
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-08 20:27 罗西的思考 阅读(5077) 评论(0) 推荐(1)
探秘Transformer系列之（23）--- 长度外推
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-05 10:05 罗西的思考 阅读(1835) 评论(9) 推荐(2)
探秘Transformer系列之（22）--- LoRA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-03 19:47 罗西的思考 阅读(2167) 评论(1) 推荐(2)
探秘Transformer系列之（21）--- MoE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-31 20:57 罗西的思考 阅读(4106) 评论(1) 推荐(2)
探秘Transformer系列之（20）--- KV Cache
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-30 09:58 罗西的思考 阅读(4545) 评论(0) 推荐(1)
探秘Transformer系列之（19）----FlashAttention V2 及升级版本
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-28 20:02 罗西的思考 阅读(2059) 评论(0) 推荐(1)
探秘Transformer系列之（18）--- FlashAttention
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-25 19:54 罗西的思考 阅读(3272) 评论(1) 推荐(1)
探秘Transformer系列之（17）--- RoPE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-23 13:31 罗西的思考 阅读(1959) 评论(1) 推荐(4)

1 2 3 4 5 ··· 9 下一页