摘要: 在 MLIR 中,处理 FA(FlashAttention) 这类算法极度复杂、硬件耦合度极高的算子,采用的是一套与其设计哲学完美契合的组合拳。 MLIR 的核心理念是渐进式降级(Progressive Lowering)和显式控制(Explicit Control)。因此,MLIR 不会试图靠一个 阅读全文
posted @ 2026-01-23 16:30 稳住·能赢 阅读(0) 评论(0) 推荐(0)
摘要: 一、问题动机:为什么 QKV 是 必须 做 Multi-output Fusion 的场景 以 Transformer 中最典型的结构为例: \[[ Q = X W_Q,\quad K = X W_K,\quad V = X W_V ] \]朴素实现的问题 在“算子级”视角下,这是 三个独立 Mat 阅读全文
posted @ 2026-01-22 20:19 稳住·能赢 阅读(0) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion的优化模式技术分析(总) ./mlir-opt -h | grep linalg 通过此命令可以查看MLIR中关于linalg的所有Pass,本篇主要分析:linalg-fuse-elementwise-ops(基于llvm 21.1. 阅读全文
posted @ 2026-01-19 11:11 稳住·能赢 阅读(5) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion的优化模式技术分析(三) 本文介绍 mlir/lib/Dialect/Linalg/Transforms/ElementwiseOpFusion.cpp 中其他三种关键优化模式: populateFoldReshapeOpsByExpa 阅读全文
posted @ 2026-01-19 11:01 稳住·能赢 阅读(1) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion的优化模式技术分析(二) 概述 populateElementwiseOpsFusionPatterns 函数不仅包含核心的 FuseElementwiseOps pattern,还集成了多个辅助优化策略,它们协同工作以最大化融合的效果 阅读全文
posted @ 2026-01-15 21:27 稳住·能赢 阅读(7) 评论(0) 推荐(0)
摘要: AI Code Agent:让你编码效率大大提高 如今的AI大语言模型智能体(Agent)在编码领域大放异彩,极大地提高了编码效率。本篇详细介绍下如何使用AI Agent,帮助更多的人解放键盘,提高效率。 通俗的理解,AI Code Agent主要包括两部分组成:Code Agent + LLM,本 阅读全文
posted @ 2026-01-07 15:56 稳住·能赢 阅读(53) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion的优化模式技术分析(一) 1 引言 在编译器优化中,算子融合(Operator Fusion)是一项关键技术,它通过合并多个连续的计算操作来减少中间结果的materialization,从而降低内存带宽需求并提升缓存利用率。MLIR的L 阅读全文
posted @ 2026-01-06 21:15 稳住·能赢 阅读(29) 评论(1) 推荐(1)
摘要: Linalg融合中Producer输出Indexing Map的Permutation检查分析 1. 问题背景 代码位置 // ElementwiseOpFusion.cpp:175-178 AffineMap producerResultIndexMap = producer.getMatchin 阅读全文
posted @ 2026-01-06 21:00 稳住·能赢 阅读(5) 评论(0) 推荐(0)
摘要: Tensor vs MemRef 1. 基本概念对比 特性 Tensor MemRef 语义 值语义(Value Semantics) 引用语义(Reference Semantics) 可变性 不可变(Immutable) 可变(Mutable) 内存模型 抽象的,不关心内存 具体的内存缓冲区 别 阅读全文
posted @ 2026-01-06 20:11 稳住·能赢 阅读(10) 评论(0) 推荐(0)
摘要: PyTorch Inductor Scheduler can_fuse 流程深度解析 本文深入剖析 PyTorch Inductor 编译器中算子融合(Operator Fusion)的核心决策流程 can_fuse,详细解析融合条件检查、特殊融合类型、优化策略等关键实现。 目录 流程概述 融合决策 阅读全文
posted @ 2025-12-30 21:20 稳住·能赢 阅读(12) 评论(0) 推荐(0)