随笔分类 -  006_深度学习

上一页 1 2 3 4 5 6 ··· 9 下一页
深度学习
探秘Transformer系列之（16）--- 资源占用
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 19:56 罗西的思考 阅读(1775) 评论(2) 推荐(1)
探秘Transformer系列之文章列表
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-21 18:10 罗西的思考 阅读(8096) 评论(0) 推荐(7)
探秘Transformer系列之（15）--- 采样和输出
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-18 19:39 罗西的思考 阅读(2316) 评论(0) 推荐(0)
探秘Transformer系列之（14）--- 残差网络和归一化
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-16 14:25 罗西的思考 阅读(3118) 评论(1) 推荐(1)
探秘Transformer系列之（13）--- FFN
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-14 19:42 罗西的思考 阅读(5098) 评论(0) 推荐(2)
探秘Transformer系列之（12）--- 多头自注意力
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-11 19:18 罗西的思考 阅读(3151) 评论(5) 推荐(4)
探秘Transformer系列之（11）--- 掩码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-08 10:18 罗西的思考 阅读(4359) 评论(0) 推荐(2)
探秘Transformer系列之（10）--- 自注意力
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-05 20:37 罗西的思考 阅读(2633) 评论(0) 推荐(2)
探秘Transformer系列之（9）--- 位置编码分类
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-03 20:48 罗西的思考 阅读(2601) 评论(0) 推荐(0)
探秘Transformer之（8）--- 位置编码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-01 14:33 罗西的思考 阅读(3419) 评论(1) 推荐(4)
探秘Transformer系列之（7）--- embedding
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-27 20:32 罗西的思考 阅读(4041) 评论(2) 推荐(4)
探秘Transformer系列之（6）--- token
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-24 20:02 罗西的思考 阅读(2476) 评论(1) 推荐(1)
探秘Transformer系列之（5）--- 训练&推理
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-22 09:55 罗西的思考 阅读(3331) 评论(4) 推荐(1)
探秘Transformer系列之（4）--- 编码器 & 解码器
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-20 20:42 罗西的思考 阅读(4214) 评论(7) 推荐(1)
探秘Transformer系列之（3）---数据处理
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-18 21:05 罗西的思考 阅读(1811) 评论(4) 推荐(0)
[源码解析] TensorFlow 分布式之 ClusterCoordinator
摘要：本文我们主要来看看ParameterServerStrategy如何分发计算，也就是ClusterCoordinator如何运作。这是TF分布式的最后一篇。 阅读全文
posted @ 2022-05-21 11:45 罗西的思考 阅读(655) 评论(0) 推荐(0)
[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2
摘要：对于 ParameterServerStrategy V2，我们将从几个方面来研究：如何与集群建立连接，如何生成变量，如何获取数据，如何运行。其中，变量和作用域我们在前文已经研究过，运行在 MirroredStrategy 里面也介绍，所以本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。 阅读全文
posted @ 2022-05-14 08:08 罗西的思考 阅读(1037) 评论(0) 推荐(1)
[源码解析] TensorFlow 分布式之 ParameterServerStrategy V1
摘要：本章我们看看 ParameterServerStrategy，就是第一版代码。研究这个是因为目前工业界还有很多公司在使用，而且其内部机制也比较清晰易懂，值得我们分析。 阅读全文
posted @ 2022-05-08 09:12 罗西的思考 阅读(831) 评论(0) 推荐(0)
[源码解析] TensorFlow 分布式之 MirroredStrategy 分发计算
摘要：前一篇我们分析了MirroredStrategy 的基本架构和如何更新变量，本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是，MirroredStrategy 通过什么方式在远端设备节点上运行训练方法（如何分发计算），MirroredStrategy 和我们之前分析的 TF 运行时怎么联系起来？和 master，worker 这些概念怎么联系起来？ 阅读全文
posted @ 2022-04-26 08:03 罗西的思考 阅读(705) 评论(0) 推荐(1)
[源码解析] TensorFlow 分布式之 MirroredStrategy
摘要：MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。 阅读全文
posted @ 2022-04-19 18:37 罗西的思考 阅读(1492) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 ··· 9 下一页