Tiny-vLLM这是什么神仙项目？一行代码就能跑本地大模型？

说出来我都不信，一个 C++ 写的简版 vLLM 居然能跑起来。

我是从一个 HN 热门看到的 Tiny-vLLM，讲真第一反应觉得这就是个玩具——正经人谁不去用原版 vLLM？但是仔细看了下，好多人说用它可以在消费级显卡上跑本地模型，这就有点意思了。

我的实操

当时我真的想试试看能不能跑起来。按照 GitHub 文档装了 CUDA 环境，花了大概半小时配置 CMake。编译的时候报错了三次，都是缺 GCC 版本和 NVCC 路径的问题。最后终于跑起来了，输入一段文本让它推理。

速度嘛说实话没有原版 vLLM 快，但是它占的显存是真的小。一个 7B 的模型居然只用了 4GB 显存，这比我之前用 transformers 直接加载少了将近一半。

我当时的判断可能是错的

一开始我觉得这项目就是给学生上课用的，没实际意义。但是后来一想，现在很多场景根本不需要那么高的吞吐量，反而要的是"能跑就行"。有些边缘设备的场景，完整版 vLLM 根本就没有用武之地。

而且里面有个 PagedAttention 的简化实现，虽然是正版 vLLM 那套思路的核心，但是代码量少太多了。对于理解大模型推理的原理，这个项目反而更友好。

这个我还不太懂

不过有个问题一直没搞明白：它的 token 生成速度和官方 vLLM 差距在哪里？是 CUDA kernel 优化的区别，还是批处理策略不同？有懂的兄弟可以聊聊。

你们呢？

本地跑大模型你们用什么方案？有没有比 Tiny-vLLM 更轻量的选择？