摘要： 精度 尾数 指数 峰值算力 相对 FP32 适用场景 FP32 23bit 8bit ~19.5 TFLOPS 1× 通用计算、高精度需求 TF32 10bit 8bit ~156 TFLOPS 8× AI 训练 / 推理（默认） FP16 10bit 5bit ~312 TFLOPS 16× 极致 阅读全文

摘要： 换源(ubuntu24)： sudo sed -i 's@//.*archive.ubuntu.com@//mirrors.ustc.edu.cn@g' /etc/apt/sources.list.d/ubuntu.sources apt update 安装必要的工具： apt install -y 阅读全文

摘要： 0. 背景 tvm 0.24.dev0 + TinyLlama(LLama2 1.1B) 1. TinyLlama 模型架构定义 类 hg 的 config + model 模式，支持同一架构多个模型。 权重使用 hg 下载权重进行解析。 使用 tvm.relax.frontend.nn 搭建模型。 阅读全文