牛犁heart

摘要： 深度学习编译器介绍 每一种硬件对应一门特定的编程语言，再通过特定的编译器去进行编译产生机器码，那随着硬件和语言的增多，编译器的维护难度会有很大困难。现代编译器已经解决了这个问题。 为了解决这个问题，科学家为编译器抽象出来了编译前端/编译中端/编译后端等概念，并引入IR(Intermediate Re 阅读全文

摘要： 任何新的运行时环境都必须实现三个主要方面: DeviceAPI类为特定设备提供了一个句柄，以及用于与之交互的API。它定义了一个通用接口，用于查询设备参数(例如可用内存、线程数量等)和执行简单操作(例如从主机复制内存，或在设备的缓冲区之间复制内存)。 Target类包含函数将在其上运行的设备的描述。 阅读全文

摘要： 本文档适用于想要了解 TVM 架构和/或积极开发项目的开发人员。页面组织如下： 示例编译流程概述了 TVM 将模型的高层描述转换为可部署模块所采取的步骤。要开始使用，请先阅读本节。 逻辑架构组件部分描述了逻辑组件。后面的部分是针对每个逻辑组件的特定指南，按组件的名称组织。 设备/目标交互描述了 TV 阅读全文

摘要： Python update() function in set adds elements from a set (passed as an argument) to the set. Syntax : set1.update(set2) Here set1 is the set in which 阅读全文

摘要： 在阅读TVM源码时，发现了*.pyi文件，里面的函数没有具体的实现，都诸如如下的形式，感到很疑惑。 @overload def getattr(__o: object, __name: str, __default: _T) -> Any | _T: ... def globals() -> dic 阅读全文

摘要： 在阅读tvm 前端代码时发现了诸如from ... import nd as _nd/from .. import analysis之类的代码，因长时间未接触python，感到格外好奇 参考：PEP 328 – Imports: Multi-Line and Absolute/Relative 官方 阅读全文

摘要： 支持的TVM硬件后端概述 下图显示了 TVM 目前支持的硬件后端： 在本教程中，将选择 cuda 和 llvm 作为目标后端。首先，让导入 Relay 和 TVM。 import numpy as np from tvm import relay from tvm.relay import test 阅读全文

摘要： TensorIR是一种用于深度学习的特定领域语言，主要有两个目的。 在各种硬件后端进行程序变换和优化的实现 用于自动张量化程序优化的抽象 import tvm from tvm.script.parser import ir_module from tvm.ir.module import IRMo 阅读全文

摘要： 与基于模板的AutoTVM不同(会依赖手动模板定义搜索空间)，自动调度器不需要任何模板。用户只需要编写计算声明，而不需要任何调度命令或模板。自动调度器可以自动生产一个大的搜索空间，并在空间中找到一个好的调度。 本节以矩阵乘法为例 导入依赖包 import os import numpy as np 阅读全文

摘要： 本节学习如何使用TVM 张量表达式(TE)语言来编写调度模板，这些模板可以被autoTVM搜索到，以找到最佳调度。这个过程称为auto-Tuning,它有助于优化张量计算的自动化过程。 本节建立在如何使用TE编写矩阵乘法的基础上 auto-tuning的步骤如下： 第一搜索空间 第二运行一个搜索算法 阅读全文