摘要：
NPU硬件架构及张量技术开发 NPU 系统介绍 V853 芯片内置一颗 NPU，其处理性能为最大 1 TOPS 并有 128KB 内部高速缓存用于高速数据交换，支持 OpenCL、OpenVX、android NN 与 ONNX 的 API 调用，同时也支持导入大量常用的深度学习模型。 NPU 系统 阅读全文
摘要：
框架图与动机结构化与可重定目标代码生成 用于数值计算的代码生成方法传统上侧重于优化循环嵌套的性能。相关分析侧重于标量元素，因为循环嵌套的主体通常计算单个元素。这样的分析必须考虑内存依赖性与混叠。这些方法在过去进行了深入研究，并已达到高度成熟。当从像C或Fortran这样的输入语言开始时，它们非常适合 阅读全文
摘要：
TPU-MLIR实现技术详细介绍 TPU-MLIR简介 后文假定用户已经处于docker里面的/workspace目录。 编译ONNX模型 以 yolov5s.onnx 为例, 介绍如何编译迁移一个onnx模型至BM1684X TPU平台运行。 该模型来自yolov5的官网: https://git 阅读全文
摘要：
Toy方言源文件下译、MLIRGen、相关编译操作流程技术 生产MLIR表达式 MLIRGen 模块会遍历 AST，递归调用子函数，构建操作，一个方言中可以有很多的 操作，如图5-2所示。 图5-2 toy源文件到下译、MLIRGen模块、Dialect模块、操作模块的流程 运行./toyc-ch2 阅读全文
摘要：
MLIR中ARM指令SVE、SME的实现方式 1. MLIR基本概念 MLIR（Multi-Level Intermediate Representaion，多级中间表示）是一种用来构建可重用与可扩展编译的新方法。MLIR的设计初衷是为了解决软件碎片化问题，改进异构硬件的编译，显著减少构建特定领域编 阅读全文
摘要：
IREE体系结构介绍 基于MLIR的端到端编译器与运行时，可将ML模型下译到统一的IR，该IR可扩展到数据中心，也可扩展到移动与边缘部署。 中间表示执行环境 IREE关键特性 1）标准与基于社区 A）采用Vulkan、SPIR-V、WebGPU等，与OSS社区合作 2）基于编译 A）使用编译器弥合级 阅读全文
摘要：
下图(run_eval待测模型列表及参数)填写更多不同精度评估方式的命令字符串，比如图中已有imagenet分类与coco检测精度计算字符串；下图(run_eval待测模型列表及参数)中model_list_all填写模型名到参数的映射，比如：resnet18_qat的[0,0]，其中第1个参数表示 阅读全文
摘要：
张量编译器结构的结构化可重定目标方法 2.1结构化与可重定目标代码生成的框架图与动机 用于数值计算的代码生成方法传统上侧重于优化循环嵌套的性能。相关分析侧重于标量元素，因为循环嵌套的主体通常计算单个元素。这样的分析必须考虑内存依赖性与混叠。这些方法在过去进行了深入研究，并已达到高度成熟。当从像C或F 阅读全文
摘要：
IREE HLO与MLIR编译器 MLIR(Multi-Level Intermediate Representation）是谷歌团队开发的开源编译器框架，提供了一套灵活的软件基础设施，以便规范中间表达式（IR）及其相互之间的转换，建立了一个友好的编译器开发平台，一些比较好的对MLIR框架解读可以参 阅读全文
摘要：
QAT量化感知训练 基本原理 相比训练后量化因为其不是全局最优而导致的精度损失，QAT量化感知训练能做到基于loss优化的全局最优，而尽可能的降低量化精度损失，其基本原理是：在fp32模型训练中就提前引入推理时量化导致的权重与激活的误差，用任务loss在训练集上来优化可学习的权重及量化的缩放与zp值 阅读全文