2024年8月22日
LLM 推理 & 服务
摘要： 目录vLLMPagedAttention：解决内存瓶颈vLLM 的安装与使用 vLLM 加州大学伯克利分校的研究者开源了一个项目 vLLM，该项目主要用于快速 LLM 推理和服务。 vLLM 的核心是 PagedAttention，这是一种新颖的注意力算法，它将在操作系统的虚拟内存中分页的经典思想引 阅读全文
posted @ 2024-08-22 10:11 幻影星全能的木豆 阅读(338) 评论(1) 推荐(0)