Octafuse Gateway 2.0 发布:路由配置大改造!目前最容易配置的 AI 网关,奶奶看了都会配!

以前配置 AI 网关,像在修飞机发动机:Provider Key 一堆、优先级一串、策略藏在字段里,改完还要心里默念「这次会不会打到对的上游」。

2.0.0 把重点放在了路由配置上,这个版本的目标很朴素:用户打开页面,一眼看懂请求怎么走;点几下,就能配好多供应商、故障转移和分流策略。

开源地址:
https://github.com/OctaFuse/octafuse-gateway

一、先别填表,先看路:请求处理流程一眼看完

每个模型的路由配置都被转换成了 「请求处理流程」:从左到右,就是真实请求的轨迹:

路由概览

客户端请求 → 匹配模型 → 策略与故障转移 → 上游供应商

可配置的东西,直接挂在它「真正生效」的那一环上。不是先背概念再猜页面,而是:页面就是说明书,流程就是配置入口。

以前你在脑子里要画整个请求路由的流程图,现在后台都给你画好了,只需要在需要额外配置的环节去点击设置即可。

二、策略不用背单词:点卡片,还能预览效果

同优先级里怎么选上游?2.0 给了四套策略,全在路由页里用卡片选:

策略 人话版
affinity(默认) 同类请求尽量走同一家,利于 Prompt Cache
weighted_random 按权重随机分流,适合成本/流量配比
strict 高权重永远先上,主备关系清清楚楚
round_robin 轮着来,大家平摊

路由策略

此外,选完还能看 「策略效果预览」

基于当前启用的 Target,解释谁会先被试、谁是回退层,还不发真实请求。
改策略之前先「脑补一遍运行时」,这种体验,以前只有运维文档里才有。

全局默认策略也能配;模型 / 路由池还能覆盖,继承关系页面上写得明明白白:当前池 → 模型规则 → 全局 → 系统默认。不用猜「我到底生效的是哪一条」。

三、Priority + 权重:主备和分流,在一张图上讲清楚

流程里能直接看到:

  • 首选层 / 回退层:Priority 高的先打;打穿了才进下一层
  • 权重 weight:同层里谁多分流量、谁当备胎,数字说话
  • 启用 / 停用:供应商或路由关掉了,预览里直接排除,避免「配了等于没配」的惊吓

一句话总结本版调度观感:

Priority 决定先救谁,策略决定怎么挑,权重决定偏心谁。
而这三句话,都画在路由页上。

四、Provider 也变简单了:一把 Key 管一个供应商

2.0 顺手做了 Provider 单键化:一个 Provider 一把 API Key。 多账号建多个 Provider 就行,和路由页上「多个上游目标」的心智完全对齐。

密钥不再散落在一串 Key 列表里绕圈; 路由页上看到的「上游供应商」,就是你要管的那一个账号实体。 配置链路短了,奶奶少问一句「这个 Key 到底挂在哪」。

五、配置路径可以很「懒」——也仍然专业

推荐一条「懒人正确路径」:

  1. 打开 路由配置,先看流程图认路
  2. 给模型挂上几个上游 Target(不同供应商 / 权重 / 优先级)
  3. 点开策略,默认 affinity 先用着(缓存友好)
  4. 想分流再换成 weighted_random;想死主备就用 strict
  5. 看一眼效果预览,保存,收工

写在最后

Octafuse Gateway 2.0 这次升级了 major 版本号,主要对数据结构也做了很大的调整,从而实现对路由配置的更高灵活度。后续会基于此给出更多场景的解决方案。

开源地址:https://github.com/OctaFuse/octafuse-gateway

欢迎 Star 支持,您的支持是持续更新迭代的动力!

posted @ 2026-07-31 11:33  程序猿DD  阅读(132)  评论(0)    收藏  举报