吴建明

摘要： 张量编译器结构的结构化可重定目标方法 2.1结构化与可重定目标代码生成的框架图与动机 用于数值计算的代码生成方法传统上侧重于优化循环嵌套的性能。相关分析侧重于标量元素，因为循环嵌套的主体通常计算单个元素。这样的分析必须考虑内存依赖性与混叠。这些方法在过去进行了深入研究，并已达到高度成熟。当从像C或F 阅读全文

摘要： IREE HLO与MLIR编译器 MLIR(Multi-Level Intermediate Representation）是谷歌团队开发的开源编译器框架，提供了一套灵活的软件基础设施，以便规范中间表达式（IR）及其相互之间的转换，建立了一个友好的编译器开发平台，一些比较好的对MLIR框架解读可以参 阅读全文

摘要： QAT量化感知训练 基本原理 相比训练后量化因为其不是全局最优而导致的精度损失，QAT量化感知训练能做到基于loss优化的全局最优，而尽可能的降低量化精度损失，其基本原理是：在fp32模型训练中就提前引入推理时量化导致的权重与激活的误差，用任务loss在训练集上来优化可学习的权重及量化的缩放与zp值 阅读全文

摘要： INT8量化分为非对称量化与对称量化。对称量化是非对称量化的一个特例, 通常对称量化的性能会优于非对称量化, 而精度上非对称量化更优。 非对称量化 如上图所示, 非对称量化其实就是把[min,max]范围内的数值定点到[-128, 127]或者[0, 255]区间。 从int8到float的量化公式 阅读全文

摘要： 从LLVM方言到LLVM IR，再到CodeGen 在中使用 toy 语言接入 MLIR，最终转化为 LLVM IR，具体的流程如下： .toy 源文件 —> AST —> MLIRGen(遍历AST生成MLIR表达式) —> Transformation(变形消除冗余) —> 下译 —> LLVM 阅读全文

摘要： Codegen方言介绍 主要介绍CodeGen过程中使用的Dialect（方言），以及对设计演变的一些观察。 介绍 对MLIR基础架构中CodeGen进行概述，特别是LLVM项目代码库中可用的部分(upstream或intree)。虽然偶尔会提到LLVM项目代码库之外的MLIR用户，但没有被深入分析 阅读全文

摘要： MLIR方法图片示例 MLIR 更广泛的社区讨论强调的第二个特征是，典型的量子经典计算编译管道需要多个级别的IR抽象。QIR只代表编译器降低流水线中的一个抽象级别，它实际上是量子计算机物理控制所需转换为模拟脉冲之前的最低机器级别。当然，还有其他抽象层，特别是那些可能更接近程序员和所使用的语言的抽象层 阅读全文

摘要： MLIR中间表示和编译器框架 背景 随着深度学习技术的发展，深度学习技术也逐渐从学术研究的方向转向了实践应用的方向，这不仅对深度模型的准确率有了较高的需求，也对深度模型的推理速度有了越来越高的需求。 目前深度模型的推理引擎按照实现方式大体分为两类： 解释型推理引擎：一般包含一个模型解析器和一个模型解 阅读全文

摘要： 异常编译代码分析 https://lowlevelbits.org/compiling-ruby-part-5/ 调用堆栈、堆栈帧和程序计数器 在程序执行期间，机器维护指向正在执行的指令的指针。它被称为程序计数器（或指令指针）。 当调用一个方法时，程序计数器被设置为被调用函数（被调用者）上的第一条指 阅读全文

摘要： 算子量化精度验证技术 阅读全文