摘要： 这是一本关于程序编译、链接、装载和库的书，涉及操作系统和编译原理。 花了一天的时间草草的翻了一遍，没怎么深入思考，稍微增加了一点见识吧。不过进入到动态链接库之后的章节，就越翻越快了，进入脑子里的东西越来越少。这本书比较好的地方在于可以将以前学习的很多知识点串起来，从一个程序的编译到链接，再到程序的装 阅读全文

摘要： 简介 protobuf 只需要我们定义 .proto 格式的数据结构，然后使用 protobuf 编译器生成指定语言的代码，然后我们就可以在指定的语言中使用这个数据结构了。protobuf 的一大好处就是数据结构的序列化和反序列化，这些自定义的数据结构经过序列化之后就可以通过网络、本地系统等方式传给 阅读全文

摘要： 原理 unordered_map 内部实现是散列表，是一个无序的容器。内部实现的散列表采用了链地址法，意思是使用链表来解决散列冲突。当往容器中加入一个元素的时候，会计算散列值，然后取余之后放到一个桶 (bucket) 里。如果不断往容器加元素，那么所有的桶都会变成一个很长的链表，这样效率就很低了，这 阅读全文

摘要： 摘要 本篇文章介绍了如何上手使用 Triton，本文将使用 Pytorch 导出 Resnet50 模型，将其部署到 Triton。Resnet50 是一个预训练模型，我们可以直接使用它预训练时的任务，即图像分类。部署好了之后，会介绍如何使用 Python 客户端进行请求，客户端发送一张图片，Tri 阅读全文

摘要： 简介 Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候，进行 md5 校验。 agent 的使用非常简单，就在模型的配置文件后面加上以下的配置就好了。对的，就是这么简单。这是英伟达的例子，使用了 checksum agent，在模型加载的时候会校验模型的 阅读全文

摘要： vector 目前用的最多的容器，没有之一。非常有必要更多地了解它。vector 是动态数组，数组的容量不是固定的。它的原理很简单，当数组的元素数量达到了容量时，插入新的元素会发生扩容。扩容会开一块新的内存出来，然后将元素复制过去，扩容的大小为 1.5 倍。 接口 vector 提供了哪些接口，看文 阅读全文

摘要： 概述 网上常见的说法是 STL 包含六大组件。 容器 container 算法 algorthm 迭代器 iterator 仿函数 function object 适配器 adaptor 空间配置器 allocator 抄袭链接：https://www.jianshu.com/p/497843e40 阅读全文

摘要： Rate Limiter 这篇文章记录 Rate Limter 的使用方法，主要来自于文档。 从效果上来说，Rate Limiter 的作用是限制了请求分发到模型实例上。从实现上来说，Rate Limiter 引入了 “Resource” 的概念，表示一个模型实例需要的资源，当系统中存在足够的资源， 阅读全文

摘要： 前言 这段时间一直在学习如何使用 Triton，期间也是一直在尝试构建 Triton Inference Server。这构建的过程感觉特别的痛苦，一方面是网络问题导致的构建速度慢、构建失败的问题，另一方面是 Triton 提供的构建脚本在我这儿并不有效，需要自己想一个办法。 按照官方的文档，我们有 阅读全文

摘要： Model Warmup 的设置 这一篇非常简单，就是记录 Model Warmup 是如何使用的。本来是为了解决第一次推理太慢的问题，后来发现其实不适用 Model Warmup。不过都已经手写了 protobuf 了，官方的例子还藏在测试的 .sh 文件中，为了方便后续使用，就写一篇来做记录好了 阅读全文