摘要： 简介 通过阅读文档，我们可以知道：Reduce Sum 规约和算子，作用是对向量元素求和，默认情况下是将整个向量进行求和，还可以指定维度进行规约。 例子： import numpy as np import mindspore import mindspore.ops as ops from min 阅读全文

摘要： Q&A 问题：按照下面配置 Preferred Batch Sizes，如果此时 requests 有 7 个，那么会发送多少个给 backend 呢？ dynamic_batching { preferred_batch_size: [ 4, 8 ] } 回答：看文档中的表述，应该是 4。如果可以 阅读全文

摘要： 这篇博客整理了机器学习系统相关的博客，一方面是为了方便自己和读者查阅文章，另一方面这个手动整理的目录是一个学习路线。如果您对机器学习系统感兴趣，那么希望我的这个导航可以给到您启发。 应用 神经网络基础 神经网络之优化算法；权重衰减和学习率衰减 卷积神经网络基础 自然语言处理 命名实体识别：Neura 阅读全文

摘要： 摘要 本文介绍了如何使用 VSCode 远程开发 PaddlePaddle。本文使用 VSCode 进行远程开发，使用了 clangd 插件作为代码提示。clangd 需要一个 compile_commands.json 文件，这个文件可以使用 cmake 的 CMAKE_EXPORT_COMPIL 阅读全文

摘要： 一个算子在 MindSpore 框架中的执行流程 本文分析了一个算子在 MindSpore 框架中的执行流程。MindSpore 中设计了 Primitive 对算子进行了封装和抽象，一般来说封装和抽象是出于差异，这种差异来自于底层执行设备的差异，比如有 CPU，GPU，Ascend 等执行设备，每 阅读全文

摘要： 简介 这是 《容器和容器云》的阅读笔记，本文主要关于 cgroups。cgroups 提供了物理资源控制的相关机制，可以控制不同子系统上的资源分配，比如 cpu，内存等。cgroups 核心有四个概念。任务，指的是进程或者线程。控制组，资源控制以组为单位。子系统，资源调度控制器，比如 CPU 子系统 阅读全文

摘要： 简介 KServe 为机器学习模型服务化提供了 kubernetes CRD，我们在 kserve 的仓库下面，可以找到链接 [1]，里面介绍了一组推理相关的 HTTP/RSET 和 GRPC API，本文主要分析和介绍这些 API。kserve 仓库里面提供了 GRPC proto 的定义文件，可 阅读全文

摘要： 简介 本文是阅读 《Docker 容器和容器云》 的读书笔记，书中第三章详细讲解了 Docker 的核心原理，本文主要是 Linux namespace 机制。namespace 一般都会有父子关系，一般来说是父 namespace 可以创建、修改、访问子 namespace，而放过来不行，name 阅读全文

摘要： 介绍 本文对 tritonserver 的命令行参数做了简要的介绍，本文将 tritonserver 的各个参数做了分类，相关的参数会聚集在一起，看着会更加清晰一点。 其实，你只要输入 /opt/tritonserver/bin/tritonserver --help 就可以看到所有选项了。本文做出 阅读全文

摘要： 前言的前言 之前写的太草了，估计只有我自己看得懂。这篇文章的出发点是从汇编的角度看对象的创建。首先，我们先思考一下，从汇编的视角看来，一个对象怎么创建呢？这个问题其实和结构体如何创建是类似的，在某段内存给相应的数据成员设置初始值；和结构体不同的是，类对象的创建需要调用构造函数。分析汇编代码，可以看到 阅读全文