随笔分类 -  019_探秘Transformer

上一页 1 2
探秘Transformer系列之（21）--- MoE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-31 20:57 罗西的思考 阅读(4106) 评论(1) 推荐(2)
探秘Transformer系列之（20）--- KV Cache
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-30 09:58 罗西的思考 阅读(4545) 评论(0) 推荐(1)
探秘Transformer系列之（19）----FlashAttention V2 及升级版本
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-28 20:02 罗西的思考 阅读(2059) 评论(0) 推荐(1)
探秘Transformer系列之（18）--- FlashAttention
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-25 19:54 罗西的思考 阅读(3272) 评论(1) 推荐(1)
探秘Transformer系列之（17）--- RoPE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-23 13:31 罗西的思考 阅读(1959) 评论(1) 推荐(4)
探秘Transformer系列之（16）--- 资源占用
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 19:56 罗西的思考 阅读(1776) 评论(2) 推荐(1)
探秘Transformer系列之文章列表
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 18:10 罗西的思考 阅读(8101) 评论(0) 推荐(7)
探秘Transformer系列之（15）--- 采样和输出
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-18 19:39 罗西的思考 阅读(2316) 评论(0) 推荐(0)
探秘Transformer系列之（14）--- 残差网络和归一化
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-16 14:25 罗西的思考 阅读(3120) 评论(1) 推荐(1)
探秘Transformer系列之（13）--- FFN
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-14 19:42 罗西的思考 阅读(5102) 评论(0) 推荐(2)
探秘Transformer系列之（12）--- 多头自注意力
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-11 19:18 罗西的思考 阅读(3154) 评论(5) 推荐(4)
探秘Transformer系列之（11）--- 掩码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-08 10:18 罗西的思考 阅读(4361) 评论(0) 推荐(2)
探秘Transformer系列之（10）--- 自注意力
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-05 20:37 罗西的思考 阅读(2635) 评论(0) 推荐(2)
探秘Transformer系列之（9）--- 位置编码分类
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-03 20:48 罗西的思考 阅读(2604) 评论(0) 推荐(0)
探秘Transformer之（8）--- 位置编码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-01 14:33 罗西的思考 阅读(3420) 评论(1) 推荐(4)
探秘Transformer系列之（7）--- embedding
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-27 20:32 罗西的思考 阅读(4044) 评论(2) 推荐(4)
探秘Transformer系列之（6）--- token
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-24 20:02 罗西的思考 阅读(2476) 评论(1) 推荐(1)
探秘Transformer系列之（5）--- 训练&推理
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-22 09:55 罗西的思考 阅读(3333) 评论(4) 推荐(1)

上一页 1 2