AI网关简单介绍

覆盖 AI 网关定义与核心能力、工作原理与使用场景、监控指标体系与实现方式、开源/商业产品选型矩阵、企业级选型建议、日常运维与注意事项。

1. AI 网关是什么

AI 网关(AI Gateway,又称 LLM Gateway)是位于应用 / AI Agent 与大模型提供商之间的中间件层。它把分散在各家 SDK、各自一套 API Key、各自一套重试逻辑的直连模式,收拢成一个统一的控制平面——应用只需对接网关一个端点(通常是 OpenAI 兼容 API),网关负责协议转换、路由、限流、成本追踪、安全治理与可观测。

一句话定义:AI 网关是"AI 流量"的反向代理 + 控制平面。传统 API 网关管 REST/GraphQL 流量,AI 网关管模型调用流量——它在请求维度理解 Token、模型、提示词、流式响应,这是传统网关做不到的。

1.1 为什么会出现 AI 网关

三股力量把 AI 网关从"可选"推向"刚需":

• 提供商碎片化:2026 年一个正经的提供商清单包括 OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure OpenAI、Mistral、Cohere、Groq、Together、DeepSeek,外加 vLLM/Ollama 自托管模型。每家 SDK、鉴权、重试语义都不同,直连意味着每个服务维护 N 条集成。
• 治理成为合规前提:PII 脱敏、审计日志、按团队预算、Key 轮转、提示词注入防护,已是企业 AI 上线的"桌面条件"。在每个应用里重复实现这些能力是浪费。
• 成本失控:前沿模型规模化使用后,单次请求成本可达美元级。Menlo Ventures 数据显示企业 LLM API 支出 2025 年达 125 亿美元,53% 的 AI 团队实际花费超预算 40%+。没有中心化预算与 Token 追踪,账单在月底才暴露问题。

趋势判断(Gartner):预计到 2028 年,70% 构建多模型应用的工程团队将使用 AI 网关(2025 年约 25%)。2026 年 Agent(智能体)大规模上生产后,单次用户请求可触发 20–50 次 LLM 调用 + 工具调用 + 推理链,网关从"路由提示词"演进为"管理 Agent 会话",已是非有不可。

2. 核心能力与工作原理

AI 网关的架构本质是反向代理:应用把标准化请求发到网关单一端点,网关经过路由决策、协议转换、策略执行后转发给提供商,再把响应归一化回标准格式。下面是它在 AI 技术栈中的位置:

2.1 三条核心车道

2.2 与传统 API 网关的区别

维度	传统 API 网关	AI 网关
管什么流量	REST / GraphQL / 微服务	模型调用(含流式、多模态)
限流维度	请求次数 / QPS	请求 + Token 数(TPM)
缓存	精确匹配键值缓存	精确 + 语义缓存(向量相似度)
成本计量	按请求	按 Token + 模型单价(差异巨大)
内容安全	WAF / 注入防护	PII 脱敏 + 提示词注入 + 输出审核
故障转移	上游服务切换	模型/提供商级 Fallback
协议	标准 HTTP	OpenAI 兼容 + SSE 流式 + MCP 工具

3. 使用场景

场景	网关解决什么
多模型统一接入	一个端点对接 OpenAI/Claude/Gemini/DeepSeek + 自托管,切换模型不改应用代码
成本控制	Token 级预算与配额,实时成本归因到团队/用户/功能,告别月底账单惊吓
高可用 / 容灾	主模型限流或宕机时自动 Fallback 到备用模型/提供商,业务无感知
安全合规	PII 脱敏、内容审核、提示词注入防护、审计日志,满足金融/医疗合规
突破提供商配额	多 API Key 轮询,变相撑大 TPM 限制;Token 限流保护后端模型服务
降本提效	语义缓存命中直接返回,省 Token 省延迟;简单任务路由到便宜快模型
Agent 工作流	编排"推理模型+分类模型+工具调用+MCP服务器"的会话链,统一治理与追踪
企业内部 AI 平台	把自部署的 DeepSeek/Qwen 能力以标准 API 暴露给全公司,按消费者精细授权与计费
边缘推理	边缘部署轻量网关做本地推理,降延迟、满足数据驻留

4. 监控指标体系

AI 网关的监控与传统系统有本质区别:一次 HTTP 200、亚秒延迟的调用,可能产出了完全错误的幻觉响应。因此指标不只看"系统是否在跑",还要看"AI 是否产出了有用的结果"以及"花了多少钱"。

4.1 关键指标详解

类别	指标	说明
流量	请求总数 / QPS	按提供商、模型、消费者、路由维度分标签
并发请求数	评估网关与后端承载压力
流式/非流式/实时占比	request_mode 标签:oneshot / stream / realtime
延迟	TTFT(首 Token 时间)	流式场景下用户感知延迟的核心指标
完成时间	从请求到完整响应的总耗时
P95 / P99 延迟	尾部延迟分布,识别长尾
流式 Token 间隔延迟	流式输出中相邻 Token 的间隔
Token/成本	输入 / 输出 / 总 Token	按 token_type、模型、消费者标签细分
单次调用成本	Token × 模型单价,实时累计
预算消耗率	已用预算 / 配额,触发告警阈值
错误	错误率 / 4xx / 5xx	按提供商、模型、错误码细分
重试次数 / Fallback 次数	主模型故障后的容灾触发频率
限流命中次数	Token/请求限流被触发的频次
缓存	缓存命中率	精确 + 语义缓存命中占比
节省 Token / 成本	命中缓存避免的 Token 与费用
安全	认证失败次数	非法 Key / 越权访问
PII 检测 / 内容审核事件	被护栏拦截或标记的请求数
MCP 工具调用追踪	工具名、延迟、成功/失败、响应大小

4.2 监控如何实现

① 指标采集——Prometheus exposition 格式。以 Kong AI Gateway 为例,通过 Prometheus 插件暴露 kong_ai_llm_requests_total、kong_ai_llm_tokens_total、kong_ai_llm_cost_total、kong_ai_llm_provider_latency 等指标,按 provider/model/cache_status/consumer/request_mode 打标签。Prometheus server 抓取后,用 Grafana 的 AI Gateway Dashboard 可视化。

② 分布式追踪——OpenTelemetry GenAI 语义规范。用 OTel 的 gen_ai.* 属性(gen_ai.request.model、gen_ai.usage.input_tokens、gen_ai.usage.output_tokens、prompt、completion、tool calls)生成 span,接入 Datadog / Langfuse / Helicone 等可观测平台,看到端到端的 Agent 调用链。

③ 成本归因——按维度标签聚合。每次调用打上团队、用户、应用、模型标签,聚合到成本大盘;预算消耗达阈值(如 80%)触发告警,达硬上限自动切断。

④ 日志——全量输入输出留存(合规)。提示词、补全、Token、延迟、命中策略写入日志服务(如阿里云 SLS),供审计与排障。

运维注意:AI 指标默认是关闭的——因为按 provider/model/consumer 维度打标签会产生高基数(high cardinality)指标,可能导致 Prometheus 性能问题。启用前需评估标签基数,或用采样 + 日志兜底。

5. 开源与商业产品选型矩阵

2026 年市场已分化为几类:开源自托管代理、企业级控制平面、托管 SaaS、API 网关扩展插件、云厂商内置。下面是主流产品的特性对比。

5.1 开源自托管

产品	定位	核心特性	适用
LiteLLM 开源 MIT	最流行的开源 LLM 代理	支持 100+ 提供商;OpenAI 兼容;虚拟 Key + 消费追踪;Key 轮询;Fallback 链;负载均衡;回调日志(Langfuse/Helicone)	需要自托管 + 最大提供商覆盖 + 高度定制的团队
Portkey 开源 MIT	生产级控制平面	1600+ LLM 统一 API;40+ 指标/请求的可观测;护栏生态(PII/注入/安全);Configs-as-code;语义缓存;MCP 集成	需要治理 + 护栏 + 可观测一体化生产团队
Higress 开源	阿里云开源 AI 网关	100+ 模型统一协议转换;模型级 Fallback;Token 限流管控;语义缓存;内容安全防护;消费者认证	国内/阿里云生态,企业内部 AI 平台
Kong AI Gateway 开源	Kong API 网关 + AI 插件	AI Proxy 插件;Token 计数;成本聚合;Prometheus 指标;MCP 流量监控;复用 Kong 现有认证/限流生态	已用 Kong 做 API 管理的组织
APISIX 开源	Apache API 网关 + AI 插件	AI 网关插件;多模型代理;限流;云原生、热更新	已用 APISIX 的云原生团队
Helicone 开源	可观测优先的轻量代理	一行接入(改 base URL);成本/延迟/Token 全可视化;P95/P99;Prompt A/B 实验	已知用哪些模型,只需深度可观测
agentgateway 开源	Envoy 基础的 Agent 网关	细粒度 Token 限流(本地+全局 Redis);配额/突刺防护;丰富的 descriptor 匹配(用户/IP/角色);指标富化	需要企业级细粒度配额治理

5.2 商业 / 托管

产品	定位	核心特性	适用
Cloudflare AI Gateway 商业	边缘优先	300+ PoP 全球边缘处理,延迟开销约 3ms;边缘缓存;限流;分析;免费 10 万请求/天	全球用户、追求最低网关延迟
OpenRouter 商业	LLM 市场 + 统一 API	300+ 模型即开即用;统一计费;5.5% 平台费;OpenAI 兼容	开发者/小团队快速试多模型
Vercel AI Gateway 商业	前端集成	AI SDK 深度集成;统一计费;BYOK;内置 Fallback	Next.js / Vercel 栈的应用
TrueFoundry 商业	K8s 原生企业网关	VPC/本地部署;网关开销 <5ms;治理 + 护栏;1000+ 模型	强合规、要本地化的企业
阿里云云原生 AI 网关 商业	四合一(流量+微服务+安全+AI)	通义/百炼/PAI 集成;亿级请求实战;Token 限流;多 Key 管理;内容安全	阿里云生态、国内企业
Azure AI Gateway / AWS Bedrock 商业	云厂商内置	与云 IAM、模型目录、Guardrails 深度集成	已深度绑定某朵云
IBM AI Gateway 商业	企业治理与合规	watsonx 集成;企业 IAM 与审计	金融/医疗等强监管行业
F5 / Solo.io Gloo 商业	传统网关厂商扩展	基于现有 BIG-IP / Envoy 生态加 AI 策略	已有 F5 / 服务网格基础

6. 企业级生产选型建议

没有"最好的"AI 网关,只有"最匹配你现状的"。下面按场景给出决策建议。

决策原则:① 看现有技术栈(已用 Kong/APISIX 就走插件路线);② 看合规要求(强监管选 Portkey 企业版/IBM/本地化);③ 看自托管能力(无运维团队选托管 SaaS);④ 看生态绑定(阿里云生态选 Higress,Azure 栈选 Azure)。

你的情况	推荐选型	理由
已用 Kong/APISIX 做 API 管理	Kong AI Gateway / APISIX AI 插件	无需引入新基础设施,启用插件即可,AI 与传统 API 共用治理
要全自托管 + 最大提供商覆盖	LiteLLM	开源 MIT,100+ 提供商,自定义能力最强,社区活跃
要治理+护栏+可观测一体化	Portkey(开源版起步,按需升企业)	Configs-as-code,护栏生态最广,生产控制平面成熟
国内/阿里云生态	Higress / 阿里云云原生 AI 网关	通义/百炼/PAI 集成,亿级实战,内容安全本土合规
全球用户 + 极低延迟	Cloudflare AI Gateway	边缘 300+ PoP,延迟开销约 3ms,免费额度充足
强监管行业(金融/医疗)	Portkey 企业版 / IBM / TrueFoundry(本地化)	气隙部署、SOC2/HIPAA、审计、PII 合规
开发者/小团队试多模型	OpenRouter	零运维,300+ 模型即开即用,适合 PoC 与实验
Next.js / Vercel 栈	Vercel AI Gateway	AI SDK 深度集成,DX 最佳
已深度绑定某朵云	Azure AI Gateway / AWS Bedrock	与云 IAM、模型目录、Guardrails 一体
需要细粒度配额治理	agentgateway	本地+全局 Redis 限流,descriptor 匹配用户/IP/角色

成熟企业实践:最稳的栈通常是两层组合——底层用一个基础设施网关(LiteLLM/Portkey/Kong)统一策略与可观测,上层叠一个智能路由层(如 Not Diamond 这类路由器)做按质量/成本/延迟的模型选择。网关管"如何安全合规地调",路由器管"调哪个模型最好"。

7. 日常运维与注意事项

7.1 日常运维要点

• 配额与成本治理:为每个虚拟 Key / 团队设 Token 预算与美元上限;设 80% 软告警、100% 硬切断;定期 review 成本大盘,识别低效提示词与浪费
• 模型健康监控:监控各提供商/模型的可用性、限流命中、P95 延迟;异常时自动切 Fallback 链
• 缓存策略调优:语义缓存的相似度阈值需平衡命中率与准确性——阈值太松返回错误答案,太紧命中率低;泛业务场景慎开,垂直场景收益高
• 版本与配置管理:用 Configs-as-code / GitOps 管理路由、Fallback、限流配置;模型版本灰度发布,可快速回滚
• 性能保障:监控网关自身延迟(目标 <10ms),水平扩展网关实例;全局限流用 Redis 集群,避免单点瓶颈
• 多区域容灾:生产环境多区域部署,避免单区域故障;Fallback 链跨提供商跨区域
• 安全合规:API Key 定期轮转;审计日志按合规要求保留(金融常需数年);PII 脱敏规则定期更新

7.2 注意事项与坑

关键提醒：AI 网关本身也引入新的攻击面——一个配置错误的端点可能让攻击者访问多个后端模型与敏感数据集。把网关当成关键安全边界来对待:最小权限、深度防御、定期审计配置、监控异常调用模式。

7.3 运维成熟度阶梯

阶段	特征	动作
起步	直连单家提供商,Key 散落,无成本可见性	引入网关统一端点 + 虚拟 Key + 基础成本追踪
成长	多家提供商,有 Fallback 与限流,有监控大盘	加 Token 预算、语义缓存、护栏、OTel 追踪
成熟	Agent 上生产,会话级追踪,Configs-as-code	智能路由层、多区域容灾、细粒度配额、全链审计
先进	边缘部署、气隙合规、Agent Mesh 编排	Agent 间通信治理、质量评估闭环、成本/质量自动优化