摘要： 这几周处于个人调整的 GAP 期，逐渐整理过去的学习笔记。本文是我 2025 年 5 月份左右记录的散乱学习笔记，国庆假期做了整理，分享给初学者。 1 简介 注意力计算是大模型推理的关键环节，其核心矩阵运算包括三部分：计算 Q、K、V 矩阵、计算注意力、计算线性变换。本文将介绍单机、张量并行两种场景 阅读全文

摘要： 本文成文于 2022.07，原本是我为团队新同事编撰的新人大礼包的一部分，后于 2024.07 发布在腾讯云开发者公众号，这里做备份记录。 在 AI 能越来越强的今天，学习技术文档写作还有两方面的好处： 知道什么是好的文档。当前 AI 味的文章充斥各处，信息含量极低，急需整治。 梳理自己的思想。文档 阅读全文

摘要： 本文从 2019 年开始编写，并最终于 2024.01 成文并发布在公司内网，同期转载于 腾讯云开发者公众号、腾讯大讲堂公众号、个人公众号。 （本插图为 2026.09.29 新生成） 1. 不靠谱程序员案例 1.1. 虚假的交付 十多年前，我们在做一款播放器软件，两周一个迭代对外发布新版本，开发的 阅读全文

摘要： 原文于 2022.08 发布在公司内网，2024.07 发布在腾讯云开发者公众号。 1. 背景 1.1. 中台、平台、技术产品 当技术中台建设热潮退去，我们会发现留下来的“中台”都是如同基建一般的“平台”，尽管有很多文章在解释中台和平台的差异，但我一直认为中台和平台在技术层面并没有什么不同。在中台概 阅读全文

摘要： 1. 先说结论 overlap scheduler 的前提是「GPU 上的推理」和「CPU 上的前后处理」能同时跑。任何一次 CPU 与 GPU 之间的同步等待，都会把这个并行切断——只要 cudaStreamSynchronize 一出现，CPU 就得停下来等 stream 空出来。 两种最常见的 阅读全文

摘要： 为什么需要 ring attention ring attention 将输入序列拆分为多个块，每个块的推理计算运行在不同的 GPU 卡上，用于单卡上的显存消耗，使得可以支持更长的序列。降低单卡显存主要体现在以下两方面： （1）可以减少 qkv 计算的中间过程临时显存占用，避免推理过程中用尽显存。$ 阅读全文

摘要： 1. 背景 通过 demo 代码生成 nsys profile 文件，观察 nsys ui 工具的各个部分。 2. 安装 cuda 环境（按需） # 对于Ubuntu/Debian系统 sudo apt install nvidia-cuda-toolkit # 对于CentOS/RHEL系统 su 阅读全文

摘要： 1. 示意图 2. 详解 2.1 基础概念 （1）一个流（CUDA Stream）代表一系列的操作序列，这些操作包括：核函数启动、内存拷贝、事件同步等。 （2）一个 Grid 是一个核函数在 GPU 上执行的所有线程的集合。一个核函数等于一个 Grid。 （3）一个 Grid 可以拆分为多个 blo 阅读全文

摘要： 本文讲述我——一名资深后台工程师，在 AI 时代如何入门大模型推理工程。全文围绕三条主线展开：从资深后台工程师到推理工程新人的抉择、推理工程的入门路径与自检方法、AI Infra 与通用 Infra 的同源与分野。 阅读全文

摘要： 本文已于 2026.08.15 发表于公众号和知乎。 1. 核心原理：为什么前缀可以共享 1.1 研究动机 提到共享前缀优化，大家很容易想到 vLLM/SGLang 等引擎的 prefix KV cache 机制，但这只是跨批次复用前缀的场景。如果在同一个批次内多个请求共享前缀，是否也有针对性的优化 阅读全文