摘要： 本文已于 2026.08.15 发表于公众号和知乎。 1. 核心原理：为什么前缀可以共享 1.1 研究动机 提到共享前缀优化，大家很容易想到 vLLM/SGLang 等引擎的 prefix KV cache 机制，但这只是跨批次复用前缀的场景。如果在同一个批次内多个请求共享前缀，是否也有针对性的优化 阅读全文

摘要： 工程师文化的思考和实践 原文是我于 2025年1月 发表在鹅厂内网 KM 平台，之后我转到 AI infra 方向，埋头全力学习大模型推理加速，未再思考任何组织管理相关的事项。近几日有同事询问是否有外网版本可以分享，于是我又复习了这篇文章，再结合这一年多来的观察，不禁感叹：写得真好！之前我以为团队的 阅读全文

摘要： 本文已于 2026.05.06 发表于公众号和知乎。 五一本打算更新一年前写的开源引擎 KVCache 实现文档，但梳理下来发现，光是 KVCache 演进的理论部分就已足够撑起一篇独立文章。在 Agent 改变搜索习惯、重塑软件行业的今天，多轮交互带来的长上下文让 KVCache 持续膨胀，显存瓶 阅读全文

摘要： 本文已于 2026.04.26 发表于公众号和知乎。 目录 1. Beam Search 是什么 2. 性能评测 3. Beam Search 工程的核心挑战 4. vLLM 的 Beam Search 实现方案 5. Transformers 的 Beam Search 实现方案简介 6. Ten 阅读全文

摘要： 本文已于 2026.04.18 发表于公众号和知乎 本文是《深度学习进阶：自然语言处理》的阅读总结，同时结合最近几年的技术发展，补充一些本书成文后的技术演进，最后是我对技术发展和阅读的思考。 斋藤康毅的《深度学习入门》介绍了最基础的深度学习知识：感知机、激活函数、损失函数、误差反向传播、超参数、正则 阅读全文

摘要： 本文已于 2026.04.11 发表于公众号和知乎 1. 权重加载要解决什么问题？ 在阅读 vLLM 的权重加载实现之前，先理解它要解决的核心问题。 大模型的权重通常以 checkpoint 文件的形式存储在磁盘上。权重加载的任务就是：把这些文件中的张量，正确地填入模型(推理代码)的每一个参数中。这 阅读全文

摘要： 本文已于 2026.02.23 发表于公众号和知乎 1. 背景 mini-sglang 不仅实现了大模型推理的核心功能，更在架构设计上体现出工业级推理引擎的关键特征 —— 多进程架构支撑、功能模块高内聚拆分、关键节点可扩展设计。基于这一架构叠加新功能时，效率和稳定性优势将非常显著。因此，mini-s 阅读全文

摘要： 本文已于 2026.01.14 发表于公众号和知乎 1. 简介 面向对象设计（OOP）是传统后台开发领域非常主流的设计思想，但在大模型推理领域，极致的性能往往藏在 DOD（面向数据）的细节里。 本文通过对 mini-sglang 项目 _make_2d_indices 函数的迭代优化，展示了如何通过 阅读全文

摘要： 本文已于 2026.01.12 发表于公众号和知乎 1. 背景 Overlap Scheduling 是大模型推理加速的重要手段。从应用视角来说：Overlap Scheduling 适用于有高 QPS 压力的场景，吞吐和 TTFT 通常会更好。如果是低 QPS 的场景，输入压力有限，Overlap 阅读全文

摘要： 注：本文已于2025.12.31 发表于知乎和公众号 1. 背景 如果要向一位完全不了解大模型推理技术的开发者介绍这个领域，我应该从哪里讲起？ 大模型推理的最简流程可以概括为：输入一串文本 → 文本通过词典映射表转换成一串数字序号 → 序号再经过 embedding 层的计算，变成一组能代表语义的浮 阅读全文