2025年10月9日
vLLM 吞吐量优化实战：10个KV-Cache调优方法让tokens/sec翻倍
摘要： GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 https://avoid.overfit.cn/post/321dd7c3c76444b59e97137c23ff696 阅读全文
posted @ 2025-10-09 21:05 deephub 阅读(23) 评论(0) 推荐(0)