摘要：
课程链接：https://www.bilibili.com/video/BV1FP41157dW/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、大纲 二、什么时候需要实现backend 需要运行Triton不支持的 阅读全文
posted @ 2024-06-26 14:34
大师兄啊哈
阅读(148)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1r3411M7rJ/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、同步请求 二、异步请求 三、share memory方式 适合clie 阅读全文
posted @ 2024-06-26 14:20
大师兄啊哈
阅读(86)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、例子1 图片-预处理模型-分别进入不同的模型-输出不同的结果。 定义模 阅读全文
posted @ 2024-06-26 14:14
大师兄啊哈
阅读(139)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1WY4y1g7Vj/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、最简单的方式 开启Triton容器 运行Triton服务 二、检查服务 阅读全文
posted @ 2024-06-26 14:09
大师兄啊哈
阅读(348)
评论(0)
推荐(0)
摘要：
视频链接：https://www.bilibili.com/video/BV1ET411G7zV/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、最小模型配置 必要参数： platform/backend: 用于指定 阅读全文
posted @ 2024-06-26 14:01
大师兄啊哈
阅读(239)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1234y157Xh/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、Triton总体架构 服务端：模型仓库->backend->硬件 从模 阅读全文
posted @ 2024-06-26 11:55
大师兄啊哈
阅读(118)
评论(0)
推荐(0)
摘要：
视频链接：https://www.bilibili.com/video/BV1R3411g7VR/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、性能分析工具 Model analyzer： 是一套性能分析工具，提供 阅读全文
posted @ 2024-06-26 11:37
大师兄啊哈
阅读(188)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV11Z4y1q7vW/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 这节主要介绍Triton是如何设计的。 一、从推理生命周期角度 多模型框架 阅读全文
posted @ 2024-06-26 11:20
大师兄啊哈
阅读(229)
评论(0)
推荐(0)
摘要：
视频链接：https://www.bilibili.com/video/BV1KS4y1v7zd/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、推理框架介绍 triton和推理框架不能画上等号，推理框架一般包括客户 阅读全文
posted @ 2024-06-26 10:59
大师兄啊哈
阅读(573)
评论(0)
推荐(0)
浙公网安备 33010602011771号