2025年3月25日
Triton服务部署
摘要： 选取一个镜像下拉到docker 命令:sudo docker pull nvcr.io/nvidia/tritonserver:23.04-py3 如果用python作为后端推理代码，肯定会用到pytorch，还需要安装torch等依赖包的镜像。可以创建一个Dockerfile，然后在tritons 阅读全文
posted @ 2025-03-25 17:24 15375357604 阅读(203) 评论(0) 推荐(0)