06 2026 档案

attention 的mask 的简单实现
摘要：Causal Mask（上三角）：挡住未来位置，自回归生成必须遵守时序； Padding Mask：挡住PAD 占位符，过滤无效填充位； 合并规则： final_mask = causal_mask | pad_mask 只要其中一个掩码标记为 True（需要遮挡），该位置就统一填充 -1e9。 i 阅读全文
posted @ 2026-06-01 11:08 小kk_p 阅读(26) 评论(0) 推荐(0)