摘要: 定义 TVM从Halide继承了计算与调度分离的思想,并在其内部重用了部分Halide的调度原语,也引入了一些新的调度原语,用于优化GPU和专用加速器性能。 先举个例子吧: import tvm from tvm import te n = 1024 dtype = "float32" A = te 阅读全文
posted @ 2024-04-14 22:39 牛犁heart 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 定义 移除无用函数,Remove Unused Function,顾名思义,就是删除Module中定义但未用到的函数 当然,它也是一个模块级的优化, 举例子: def get_mod(): mod = tvm.IRModule({}) fn1 = relay.Function([], relay.c 阅读全文
posted @ 2024-04-14 16:13 牛犁heart 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 定义(What) InferType,类型推断,顾名思义,给表达式进行类型的推断 直接上代码 import tvm from tvm import relay import numpy as np def get_demo_mod(): a = relay.var("a", shape=(2, 3, 阅读全文
posted @ 2024-04-07 20:31 牛犁heart 阅读(2) 评论(0) 推荐(0) 编辑
摘要: TVM 提供了详细日志记录功能,允许提交跟踪级别的调试消息,而不会影响生产中 TVM 的二进制大小或运行时。你可以在你的代码中使用 VLOG 如下: void Foo(const std::string& bar) { VLOG(2) << "Running Foo(" << bar << ")"; 阅读全文
posted @ 2024-04-06 14:54 牛犁heart 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 定义(What) 公共子表达式消除 就是如果表达式E的值已经计算的到了,并且自计算的到值后E的值就不再改变了,就说,表达式E在后续计算中是一个公共表达式。 简单说,该表达式上面已经执行过了,下面没必要再执行了 举个例子: import tvm from tvm import relay from t 阅读全文
posted @ 2024-04-06 14:46 牛犁heart 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Lambda 表达式完整的格式如下: [捕获列表] (形参列表) mutable 异常列表-> 返回类型 { 函数体 } 各项的含义: 捕获列表:捕获外部变量,捕获的变量可以在函数体中使用,可以省略,即不捕获外部变量。 形参列表:和普通函数的形参列表一样。可省略,即无参数列表 mutable:mut 阅读全文
posted @ 2024-01-26 23:53 牛犁heart 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 这节主要涉及到一个多线程情况下存在的数据竞争问题 -- 多个线程同时访问共享数据时,由于没有正确的同步机制,导致数据出现不一致的情况。 C/C++ 多线程中,可以通过互斥锁(mutex)、原子操作(atomic,C++11 也提供了原子操作库,如std::atomic,用于实现原子加法、原子赋值等操 阅读全文
posted @ 2024-01-01 22:48 牛犁heart 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 问: 有10G的订单数据,希望订单金额(假设都是正整数)进行排序,但我们内存有限,只有几百MB,如何进行排序? 答: 因内存有限,需要排序的数据量巨大,所以,此时需要外部排序,外部排序采用的是一种分治思想,外部排序最常用的是多路归并排序,即将大数据切成多份一次可以载入内存的小数据,对小数据进行内存排 阅读全文
posted @ 2023-12-29 23:16 牛犁heart 阅读(6) 评论(0) 推荐(0) 编辑
摘要: CUDA架构而言,主机端的内存分为两种,一种是可分页内存(pageable memroy), 一种是页锁定内存(page-lock或 pinned)。 可分页内存是由操作系统API malloc()在主机上分配,页锁定内存是由CUDA函数cudaMallocHost()和cudaHostAlloc( 阅读全文
posted @ 2023-11-19 17:32 牛犁heart 阅读(454) 评论(0) 推荐(0) 编辑
摘要: 在用cmake编译cuda程序时,总是报Compilation error ptxas fatal : Value ‘sm_30’ is not defined for option ‘gpu-name’问题,也是折腾了好久,感谢这位小哥的解决方案,亲试无误,万分感谢~ 转载:https://blo 阅读全文
posted @ 2023-10-07 12:02 牛犁heart 阅读(235) 评论(0) 推荐(0) 编辑