optillm openai api 兼容的推理proxy 服务

optillm openai api 兼容的推理proxy 服务，内部使用了不少技术，同时也支持插件化的扩展

内部参考处理

 

说明

optillm 内部支持基于litellm 的llm 服务，同时使用了不少llm的优化技巧，值得研究下，同时对于不支持openai api 的大模型，我们可以通过litellm proxy 解决

参考资料

https://github.com/codelion/optillm