LitServe 支持自动worker restart

LitServe 在0.2.17. 添加了一个比较有意思的工具,就是自动worker 重启,可以确保异常的worker 节点可以重启,确保服务的可用性

参考玩法

import litserve as ls

server = ls.LitServer(
    MyAPI(),
    restart_workers=True,  # Automatically restart failed workers
    workers_per_device=4
)
server.run()

参考资料

https://github.com/Lightning-AI/LitServe/releases

posted on 2026-01-01 08:00  荣锋亮  阅读(0)  评论(0)    收藏  举报

导航