摘要:
PyTorch 2.x 深度学习专题【左扬精讲】—— Flash Attention原理:分块计算与重计算,如何降低O(n^2)的显存占用 Flash Attention v1 (Tri Dao, 2022) ← 分块计算 + 在线softmax Flash Attention v2 (Tri Da 阅读全文
posted @ 2026-07-24 17:45
左扬
阅读(42)
评论(0)
推荐(0)
摘要:
PyTorch 2.x 深度学习专题【左扬精讲】—— 位置编码详解:正弦位置编码、相对位置编码、旋转位置编码(RoPE) torch.nn.Embedding ← 可学习位置编码的底层实现 torch.nn.functional.scaled_dot_product_attention ← 现代 A 阅读全文
posted @ 2026-07-24 15:58
左扬
阅读(40)
评论(0)
推荐(0)

浙公网安备 33010602011771号