[AI/Model/Gateway] LLM Gateway 组件选型：LiteLLM / One API / RouteLLM

0 序

本质上来说， Ollama 不算是 LLM Gateway 的，知悉即可。

1 LLM Gateway 组件选型

组件综合对比

  • 综合对比
  • LiteLLM：企业级 LLM Gateway / 模型统一接入层

明确把 Proxy 定位为自托管 OpenAI-compatible Gateway，并提供认证、虚拟 Key、成本跟踪、限流、日志、Fallback、负载均衡等能力

  • OneAPI：偏 LLM API 管理、聚合、分发与渠道管理

更偏向“API 管理平台 + 渠道分发平台”，包括渠道管理、Token、额度、用户分组、倍率、负载均衡、失败重试等。

  • RouteLLM：专注 智能模型路由 / Model Routing

非常明确：根据请求难度/质量要求，把请求路由到强模型或弱模型，以降低成本。

  • Ollama：偏 本地模型运行时 / Local LLM Runtime

负责的是模型本身的本地运行，同时提供 OpenAI-compatible API。

维度 LiteLLM One API RouteLLM Ollama
项目类型 AI Gateway / LLM Gateway LLM API 聚合与分发网关 LLM 智能路由框架 本地 LLM Runtime
核心解决问题 统一调用各种模型 统一管理、分发各种模型 API 决定请求应该调用哪个模型 让模型在本机/服务器运行
核心关键词 Gateway、Proxy、Router、Fallback、Cost API 聚合、渠道、Key、额度、负载均衡 Model Routing、Cost/Quality Optimization Local LLM、Runtime、Model Serving
是否运行模型 ❌ ❌ ❌ ✅
是否连接云模型 ✅ ✅ ✅ ❌/有限，核心不是云模型
是否支持本地模型 ✅ 可接 Ollama/vLLM 等 ✅ 可接 Ollama 等 ✅ 可通过 Ollama 等接入 核心能力
是否统一 API 强 强 强/OpenAI-compatible 部分兼容 OpenAI API
是否做模型路由 ✅ ✅ 基础负载均衡/渠道路由 ⭐⭐⭐⭐⭐ 核心能力 ❌
是否做智能路由 有 Router 能力 较弱 核心能力 ❌
是否做 API Key 管理 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 较弱 较弱
是否做用户/租户管理 强 强 弱 弱
是否做额度/计费 强 非常强 弱 无
是否做成本统计 强 强 核心目标之一 无
是否做限流 强 强 较弱 基础
是否做 Fallback 强 有 可通过路由实现 ❌
是否做负载均衡 强 强 非主要能力 ❌
是否做本地 GPU 推理 ❌ ❌ ❌ ✅
是否适合作为企业统一模型网关 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐ ⭐
是否适合作为本地模型服务 ⭐⭐ ⭐⭐ ⭐⭐ ⭐⭐⭐⭐⭐

项目信息对比

  • 项目基本信息对比
项目 LiteLLM One API RouteLLM Ollama
GitHub BerriAI/LiteLLM songquanpeng/one-api lm-sys/RouteLLM ollama/ollama
主要语言 Python Go + 前端 Python Go
开源 ✅ ✅ ✅ ✅
License MIT MIT Apache-2.0 MIT
项目定位 AI Gateway API Gateway / 聚合分发 LLM Router Local LLM Runtime
诞生背景 解决多模型统一调用 解决多模型 API 管理/分发 学术研究 + 模型路由 简化本地 LLM 部署
Star 约 8K+ 约 34K+ 约 7K+ 约 150K+
社区成熟度 高 高 中 非常高
企业级能力 强 中高 中 中
学术研究属性 低 低 高 低

核心能力对比

能力 LiteLLM One API RouteLLM Ollama
OpenAI API 兼容 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐
Anthropic 等 Provider 适配 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐
多模型统一调用 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐
Provider Adapter 非常强 强 依赖 LiteLLM 等 弱
Model Router ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ ❌
智能模型选择 ⭐⭐⭐⭐ ⭐⭐ ⭐⭐⭐⭐⭐ ❌
成本优化 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐*
API Key 管理 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐ ⭐
用户管理 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐ ⭐
多租户 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐ ⭐
API 限流 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐ ⭐⭐
Quota ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐ ❌
计费/倍率 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐ ❌
Dashboard ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐ ⭐⭐⭐⭐
日志/Observability ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐
Guardrails ⭐⭐⭐⭐⭐ ⭐⭐ ⭐ ❌
Cache ⭐⭐⭐⭐ ⭐⭐⭐ ⭐ ⭐⭐
Retry ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ❌
Fallback ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ❌
Load Balance ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐ ❌
本地模型 ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐
GPU 推理 ❌ ❌ ❌ ⭐⭐⭐⭐⭐
模型下载/管理 ❌ ❌ ❌ ⭐⭐⭐⭐⭐
Embedding ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐
Vision ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐
Tool Calling ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐
Agent/A2A 等新接口 较强 较弱 较弱 逐步支持

Y 推荐文献

X 参考文献

posted @ 2026-08-29 16:14  数据知音  阅读(2)  评论(0)    收藏  举报