摘要：很久之前就想复刻一下 vLLM 中的 paged Attention，相关的文章还有论文也基本上都看过一遍，苦于本人很懒，一直处于想做，但又没那么想做的状态，直至上周才下定决心把这个玩意弄完，遂去看了 nano-vLLM 的源码，仔细学习一下相关的架构和设计，然后编写了适配个人推理引擎项目的 cpp 阅读全文