无尽玩AI - 博客园

2024年12月13日

摘要：本文将介绍华为昇腾推理引擎 MindIE 的详细内容，包括其基本介绍、关键功能特性以及不同组件的详细描述。本文内容将深入探讨 MindIE 的三个主要组件：MindIE-Service、MindIE-Torch 和 MindIE-RT，以及它们在服务化部署、大模型推理和推理运行时方面的功能特性和应阅读全文

posted @ 2024-12-13 15:07 无尽玩AI 阅读(131) 评论(0) 推荐(0)

转载：【AI系统】推理引擎架构

摘要：在深入探讨推理引擎的架构之前，让我们先来概述一下推理引擎的基本概念。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，执行推理任务，从而实现智能决策和自动化处理。随着 AI 技术的快速发展，推理引擎的设计和实现面临着诸多挑战，同时也展现出独特的优势。本文将详细阐述推理引擎的阅读全文

posted @ 2024-12-13 15:07 无尽玩AI 阅读(64) 评论(0) 推荐(0)

2024年12月12日

转载：【AI系统】推理系统架构

摘要：推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。在构建一个高效的推理系统时，我们不仅需要考虑其性能和准确性，还需要确保系统的可扩展性、灵活性以及对不同业务需求的适应性。在本文中，我们将主要以 NVIDIA Triton Inference 阅读全文

posted @ 2024-12-12 22:03 无尽玩AI 阅读(91) 评论(0) 推荐(0)

转载：【AI系统】推理流程全景

摘要：本文介绍神经网络模型在部署态中的两种方式：云侧部署和边缘侧部署。其中，云侧部署适用于云服务器等具备强大计算能力和存储空间的环境，可以实现高吞吐量和集中的数据管理，但可能面临高成本、网络延迟和数据隐私等挑战。边缘侧部署适用于边缘设备和移动设备等资源受限的环境，可以通过模型优化、硬件加速和分布式计算等阅读全文

posted @ 2024-12-12 22:03 无尽玩AI 阅读(116) 评论(0) 推荐(0)

转载：【AI系统】推理系统介绍

摘要：推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。通过推理系统，可以将神经网络模型部署到云端或者边缘端，并服务和处理用户的请求。因此，推理系统也需要应对模型部署和服务生命周期中遇到的挑战和问题。在阅读全文

posted @ 2024-12-12 22:03 无尽玩AI 阅读(72) 评论(0) 推荐(0)

转载：【AI系统】推理系统引言

摘要：在深入探究 AI 编译原理之后，将进一步迈向一个与日常生活紧密相连的新领域。这个领域无处不在，无论是日常使用的购物应用、观看在线视频的平台，还是钟爱的游戏，它们都与这个领域息息相关。该领域，便是推理系统与推理引擎。那么，推理系统与推理引擎究竟是什么呢？它们之间又存在着怎样的差异？推理的具体工作流程阅读全文

posted @ 2024-12-12 20:05 无尽玩AI 阅读(49) 评论(0) 推荐(0)

转载：【AI系统】Ascend C 编程范式

摘要： AI 的发展日新月异，AI 系统相关软件的更新迭代也是应接不暇，作为一篇讲授理论的文章，我们将尽可能地讨论编程范式背后的原理和思考，而少体现代码实现，以期让读者理解 Ascend C 为何这样设计，进而随时轻松理解最新的 Ascend C 算子的编写思路。本文将针对 Ascend C 的编程范式进阅读全文

posted @ 2024-12-12 20:05 无尽玩AI 阅读(32) 评论(0) 推荐(0)

转载：【AI系统】Ascend C 语法扩展

摘要： Ascend C 的本质构成其实是标准 C++加上一组扩展的语法和 API。本文首先对 Ascend C 的基础语法扩展进行简要介绍，随后讨论 Ascend C 的两种 API——基础 API 和高阶 API。接下来针对 Ascend C 的几种关键编程对象——数据存储、任务间通信与同步，资源管理阅读全文

posted @ 2024-12-12 19:52 无尽玩AI 阅读(51) 评论(0) 推荐(0)

转载：【AI系统】算子开发编程语言 Ascend C

摘要：本文将深入探讨昇腾算子开发编程语言 Ascend C，这是一种专为昇腾 AI 处理器算子开发设计的编程语言，它原生支持 C 和 C++标准规范，最大化匹配用户的开发习惯。Ascend C 通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力 AI 开发者低成本完成算子开发和阅读全文

posted @ 2024-12-12 19:52 无尽玩AI 阅读(166) 评论(0) 推荐(0)

转载：【AI系统】CANN 算子类型

摘要：算子是编程和数学中的重要概念，它们是用于执行特定操作的符号或函数，以便处理输入值并生成输出值。本文将会介绍 CANN 算子类型及其在 AI 编程和神经网络中的应用，以及华为 CANN 算子在 AI CPU 的详细架构和开发要求。算子基本介绍一元算子通过对单个操作数进行操作，如取反或递增，而二元算阅读全文

posted @ 2024-12-12 18:31 无尽玩AI 阅读(39) 评论(0) 推荐(0)

wujinwanai

公告