摘要： Python Backend Triton 提供了 pipeline 的功能，但是 Triton 的 pipeline 只能将输入和输出串联到一起，太过于简单静态了，不支持控制流，比如循环、判断等，模型和模型之间的数据格式不灵活，只能是向量。pipeline 太死板了，有没有办法支持更加灵活的操作呢 阅读全文

摘要： 问题 C++11 Memory Order 的出现是为了解决什么样的问题？根据 [2] 的回答，我认为主要是为了解决 “指令重排” 带来的影响，指令重排是编译器或 CPU 为了优化性能而引入的。指令重排所带来的问题就是，多线程执行的时候，即使我们用一个 “原子变量” 来保证了内存的可见性，但是我们仍 阅读全文

摘要： Triton 搭建 ensemble 过程记录 本文记录 Triton ensemble 搭建的过程，在 Triton 这个特性叫做 ensemble，但是这个特性叫做 pipeline 更为常见，后面就叫 pipeline 吧。首先要说明的是，本文中的例子只是为了试试看 Triton pipeli 阅读全文

摘要： Stateful Models 学习笔记 在 Triton Architecture 的文档中，有一个令我困惑了许久的 feature：Stateful Models。如果你也看不太懂的话，并且想知道或必须知道它是什么东西的话，不妨看看这一篇学习笔记，看看能不能对你有所帮助。下面是我的一点粗浅的理解 阅读全文

摘要： 简介 最近接触到了 cudaStream，对于一个没写过 CUDA 的人来说，一时有点难理解。于是网上找了几篇文章，快速入门了一下。其实说白了 cudaStream 就是一个执行流，用以提高并行度。 下面是学习过程中见到的概念。概念真的太重要了。 核函数：CUDA 的执行单元。核函数用 __glob 阅读全文

摘要： 如何实现一个 backend 这篇文章主要讲如何实现一个 Triton Backend，以 Pytorch Backend 为例子。 Backend API 我们需要实现两个类来存储状态以及七个 Backend API。 ModelState ModelInstanceState TRITONBAC 阅读全文

摘要： Triton Inference Server 定位 在接触了一段时间的 Triton 之后，我认为它的定位在于模型服务，即它的主要职责和服务紧密相关，服务中常见的需求它需要做处理。比如 Batching，Sequence，Pipeline 等，再比如模型仓库的管理，模型后端引擎的管理等，还有性能测 阅读全文

摘要： Serving System 本文记录了对 Serving System 的理解，Serving System 顾名思义其实是一个 “系统”。更具体一点，它和 “Web 后台管理系统” 并不存在本质上的区别，都是 “管理系统”！ 管理的是什么东西呢？模型、设备。Serving System 可以说是 阅读全文

摘要： 前言 最近重读 CSAPP 第五章，这一章的主题是优化程序性能。 首先，在开始着手优化程序性能之前，需要考虑现有程序的算法和数据结构，先优化算法。这种优化获得的提升是数量级的提升，比如从 $O(N^2)$ 复杂度到 $O(N)$ 复杂度，这种理论上复杂度的优化，在数据量上去之后，效果明显。 接下来就 阅读全文

摘要： 前言 上一篇，我们分析了启动 Runtime，其中我们着重分析了线程的启动，线程是计算的抽象。这篇我们来关注存储，Runtime 在启动的时候，会给 RegstMgr 添加一个 Plan，RegstMgr 根据 Plan 申请分配内存。 回顾 上篇的最后，我们看到了最终一个 Kernel 是如何被调 阅读全文