Loading

合集-LLM推理

SgLang代码细读-3.Cache
摘要：Sglang代码细读的最后一篇, 主要集中分析了框架中的二级显存池, cache复用相关的ChunkCache/RadixCache, 以及PD分离后KVCache是如何进行传输的 这三部分内容 阅读全文
posted @ 2025-05-22 16:24 SunStriKE 阅读(3143) 评论(0) 推荐(0)
SgLang代码细读-2.forward过程
摘要：主要记录了sglang 从scheduleBatch开始如何进行forward推理, 通过采样得到最后输出的token过程. 阅读全文
posted @ 2025-05-20 21:30 SunStriKE 阅读(2342) 评论(0) 推荐(0)
SgLang代码细读-1.从req到batch
摘要：基于SgLang开源主干PD分离实现的代码细读, 第一部分主要包括从request到batch过程中框架是如何处理的 阅读全文
posted @ 2025-05-19 14:33 SunStriKE 阅读(5212) 评论(0) 推荐(0)