2025年8月15日
Triton Kernel 优先：全新 LLM 推理方式
摘要： 摘要：目前主流的推理框架如vLLM、TensorRT-LLM、SGLang都在MLsys上对大模型推理进行了优化，能够得到一个非常好的多并发成绩。triton_llm 项目带来了一个全新的llm推理方式，以 Triton Kernel为中心，希望能在batch较小时获得更好的性能。目前在 RTX 5 阅读全文
posted @ 2025-08-15 06:19 暴力都不会的蒟蒻 阅读(116) 评论(0) 推荐(0)