vllm-omni 高效的omni 模型推理框架

vllm-omni 是一个高效的推理框架，核心是支持omni的推理以及服务

包含的特性

• omni 模型，多模态支持
• 非自回归架构，扩展到啊支持扩散以及其他并行模型
• 异构输出，支持多模态的处理
• 兼容openai api 格式
• 支持hf 上大部分流行的开源模型

参考资料

https://github.com/vllm-project/vllm-omni