TokenHub 基于golang 的llm proxy 服务
TokenHub 是基于golang 开发的llm proxy 服务,功能点还是比较全的,支持的模型也比较多,有一个比较好的设计是有项目,团队,用户
说明
TokenHub 功能点是比较全的,目前不太好的是web 以及backend 是分离的(有利有弊),计费,审计日志,模型路由,很值得尝试下,目前类似的比较多,从功能上发现TokenHub 还是挺不错的
参考资料
https://github.com/astaxie/TokenHub
https://github.com/astaxie/TokenHub/blob/main/docs/architecture.md
浙公网安备 33010602011771号