摘要: 如何实现一个 backend 这篇文章主要讲如何实现一个 Triton Backend,以 Pytorch Backend 为例子。 Backend API 我们需要实现两个类来存储状态以及七个 Backend API。 ModelState ModelInstanceState TRITONBAC 阅读全文
posted @ 2021-11-01 21:06 楷哥 阅读(3711) 评论(1) 推荐(0)