2025年12月23日
SGLang在昇腾算力下的性能调优
摘要： 引言 SGLang介绍 SGLang 是一款专为大语言模型设计的高效推理语言与执行引擎，它的核心思路是把传统“一问一答”式的交互，升级为可编程、可组合的结构化工作流程。 在过去，我们与模型的交互往往是零散且线性的：用户问一句，模型答一句，复杂的任务需要拆成多次对话来完成。而 SGLang 引入了“结 阅读全文
posted @ 2025-12-23 11:35 性感的猴子 阅读(0) 评论(0) 推荐(0)