摘要:
论文:Attention is All You Need:Attention Is All You Need1. Transformer 整体结构首先介绍 Transformer 的整体结构,下图是 Transformer 用于中英文翻译的整体结构:可以看到transformer由Encoder和D 阅读全文
摘要:
ZeRO:一种去除冗余的数据并行方案 目前训练超大规模语言模型主要有两条技术路线: TPU + XLA + TensorFlow/JAX GPU + Pytorch + Megatron + DeepSpeed 前者由Google主导,由于TPU和自家云平台GCP深度绑定,对于非Googler来说并 阅读全文
摘要:
打印栈回溯 #include "execinfo.h" #include "stdio.h" #include "stdlib.h" void print_stacktrace() { int size=128; void* array[128]; int stack_num = backtrace 阅读全文
摘要:
定义 算子融合 就是将多个计算单元合并到一个计算单元里完成计算,减少中间数据读写内存的操作,从而节省计算时间。 TVM中将算子融合分为四种: kElemWise:两个tensor之间按照元素逐个操作的算子,实际上所有的四则运算都是这种类型 kBroadcast:带有广播操作的算子 kInjectiv 阅读全文
摘要:
定义 TVM从Halide继承了计算与调度分离的思想,并在其内部重用了部分Halide的调度原语,也引入了一些新的调度原语,用于优化GPU和专用加速器性能。 先举个例子吧: import tvm from tvm import te n = 1024 dtype = "float32" A = te 阅读全文
摘要:
定义 移除无用函数,Remove Unused Function,顾名思义,就是删除Module中定义但未用到的函数 当然,它也是一个模块级的优化, 举例子: def get_mod(): mod = tvm.IRModule({}) fn1 = relay.Function([], relay.c 阅读全文
摘要:
定义(What) InferType,类型推断,顾名思义,给表达式进行类型的推断 直接上代码 import tvm from tvm import relay import numpy as np def get_demo_mod(): a = relay.var("a", shape=(2, 3, 阅读全文
摘要:
TVM 提供了详细日志记录功能,允许提交跟踪级别的调试消息,而不会影响生产中 TVM 的二进制大小或运行时。你可以在你的代码中使用 VLOG 如下: void Foo(const std::string& bar) { VLOG(2) << "Running Foo(" << bar << ")"; 阅读全文
摘要:
定义(What) 公共子表达式消除 就是如果表达式E的值已经计算的到了,并且自计算的到值后E的值就不再改变了,就说,表达式E在后续计算中是一个公共表达式。 简单说,该表达式上面已经执行过了,下面没必要再执行了 举个例子: import tvm from tvm import relay from t 阅读全文
摘要:
Lambda 表达式完整的格式如下: [捕获列表] (形参列表) mutable 异常列表-> 返回类型 { 函数体 } 各项的含义: 捕获列表:捕获外部变量,捕获的变量可以在函数体中使用,可以省略,即不捕获外部变量。 形参列表:和普通函数的形参列表一样。可省略,即无参数列表 mutable:mut 阅读全文