单南松

摘要： 插入语：本笔记不止包含第三节课内容，插入了后续内容进行调整。为了方便代码实现，我在本节课笔记整理中直接实现了手写 Transformer，即将第五节课的 FLashAttention 代码实现扔到了这里，便于复习。 Attention 机制的核心参数与学习过程 在基础的 Attention 模块中， 阅读全文

摘要： 核心思维：Mechanics vs. Mindset Mechanics（机械层面）：如何用 PyTorch 的 API 搭建张量、模块、优化器和训练循环。 Mindset（思维层面）：每写一段代码，都要有显存与 FLOPs 的概念，知道这段代码“贵不贵”，瓶颈在哪里。 Memory Account 阅读全文