location

导航

2026年10月27日 #

# 第 1 篇:这一步算几个 token,KV 放在哪

摘要: 接第 0 篇。一层 KV 的乘法会算了。这篇只做一件事:拿一条 4 个 token 的请求,到 vLLM 0.11.0 里对上两句话。谁决定这一步算几个 token。这些 token 的 KV 页在哪领。训练还没开始,GRPO、FSDP 先不写。 机器没变:verl_env 里的 vLLM 0.11 阅读全文

posted @ 2026-10-27 21:56 location 阅读(3) 评论(0) 推荐(0)

2026年10月14日 #

# 第 0 篇:KV cache 计算

摘要: 第 0 篇:KV cache 计算 日期:2026-10-14 记录把 verl、vLLM 接到强化学习训推上的过程。这篇不写安装步骤,也不写「我跑通了 GRPO」。训练还没开始。我先弄清一次生成里,显存到底被什么占住。 机器上现成的东西:8 张 A800 80GB,本地 verl 在 /home/ 阅读全文

posted @ 2026-10-14 21:43 location 阅读(3) 评论(0) 推荐(0)