litserve 支持mcp server协议了
就在最近的版本litserve支持mcp协议了,使用上比较简单,对于配置了mcp 的litserve api 会额外暴露一个/mcp 的接口
说明
对于简单的大模型推理服务(当然不只是大模型的,其他也是可以的),通过litserve 暴露服务接口(还包含openai 兼容协议的)是一个不错的选择,后边体验下mcp服务
参考资料
https://lightning.ai/docs/litserve/features/mcp
https://github.com/Lightning-AI/LitServe/pull/534
https://modelcontextprotocol.io/specification/2025-03-26/basic/transports#streamable-http
浙公网安备 33010602011771号