2026年1月4日

vllm-omni 高效的omni 模型推理框架

摘要： vllm-omni 是一个高效的推理框架，核心是支持omni的推理以及服务 包含的特性 omni 模型，多模态支持 非自回归架构，扩展到啊支持扩散以及其他并行模型 异构输出，支持多模态的处理 兼容openai api 格式 支持hf 上大部分流行的开源模型 参考资料 https://github.c 阅读全文

posted @ 2026-01-04 08:00 荣锋亮 阅读(29) 评论(0) 推荐(0)

导航