litserve 支持mcp server协议了

就在最近的版本litserve支持mcp协议了,使用上比较简单,对于配置了mcp 的litserve api 会额外暴露一个/mcp 的接口

说明

对于简单的大模型推理服务(当然不只是大模型的,其他也是可以的),通过litserve 暴露服务接口(还包含openai 兼容协议的)是一个不错的选择,后边体验下mcp服务

参考资料

https://lightning.ai/docs/litserve/features/mcp

https://github.com/Lightning-AI/LitServe/pull/534

https://modelcontextprotocol.io/specification/2025-03-26/basic/transports#streamable-http

https://modelcontextprotocol.io/docs/concepts/tools

posted on 2025-07-08 08:00  荣锋亮  阅读(21)  评论(0)    收藏  举报

导航