LitServe 支持自动worker restart
LitServe 在0.2.17. 添加了一个比较有意思的工具,就是自动worker 重启,可以确保异常的worker 节点可以重启,确保服务的可用性
参考玩法
import litserve as ls
server = ls.LitServer(
MyAPI(),
restart_workers=True, # Automatically restart failed workers
workers_per_device=4
)
server.run()
浙公网安备 33010602011771号