学习昇腾硬件软件产品名称

应用使能

（应用使能 的层级位于MindSpore等框架之上）

摘录官网介绍：

• MindSpeed是一款专为昇腾平台打造的高性能加速库，涵盖了MindSpeed Core亲和加速模块、MindSpeed LLM套件、MindSpeed MM套件以及MindSpeed RL套件这四个重要组成部分。
• MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。
• MindSDK提供昇腾AI处理器加速的各类AI软件开发套件（SDK），提供极简易用的API，加速高性能AI应用的开发，赋能千行百业。
• MindCluster（AI集群系统软件）是支持NPU（昇腾AI处理器）构建的深度学习系统组件，专为训练和推理任务提供集群级解决方案。深度学习平台开发厂商可以减少底层资源调度相关软件开发工作量，快速使能合作伙伴基于MindCluster开发深度学习平台。
• MindEdge提供边缘AI业务基础组件管理和边缘AI业务容器的全生命周期管理能力，同时提供节点看管、日志采集等统一运维能力和严格的安全可信保障。为客户提供完整的边缘与云及数据中心协同的边缘计算解决方案，使能客户快速构建边缘AI业务。
• ModelZoo，昇腾旗下的开源AI模型平台，涵盖计算机视觉、自然语言处理、语音、推荐、多模态、大语言模型等方向的AI模型及其基于昇腾机器的实操案例。
• AscendHub，昇腾开放Docker镜像仓库，提供昇腾软件Docker镜像
  
  

MindSpore

大模型套件：

• MindSpore Transformers套件的目标是构建一个大模型预训练、微调、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型（Large Language Models, LLMs）和多模态理解模型（Multimodal Models, MMs）。期望帮助用户轻松地实现大模型全流程开发。
• MindSpore One是一个集成了前沿生成算法和模型的开源项目，旨在优化内容生成，适用于图像、视频、文本生成等多种领域。它的名称来源于“ONE for all”和“Optimal generators with No Exception”，代表了其广泛适用性和高效生成的特点。(内容摘录网络)
• MindSpore RLHF（简称 MindRLHF，全称MindSpore Reinforcement Learning from Human Feedback）以MindSpore作为基础框架，利用框架具备的大模型并行训练、推理、部署等能力，助力客户快速训练及部署带有百亿、千亿级别基础模型的RLHF算法流程。
• vLLM-MindSpore Plugin即vLLM-MindSpore插件将基于MindSpore构建的大模型推理能力接入 vLLM ，从而有机整合MindSpore和vLLM的技术优势，提供全栈开源、高性能、易用的大模型推理解决方案。
  
  

昇腾AI处理器架构

昇腾AI处理器架构：

• Control CPU
• AI计算引擎 = AI Core + AI CPU
  • AI Core（达芬奇架构） = 计算单元 + 存储系统 + 控制单元
    • 计算单元：三种基础计算资源：矩阵 Cube Unit + 向量 Vector Unit + 标量 Scalar Unit
    • 存储系统 = 存储单元 + 数据通路，其中存储单元=存储控制单元+缓冲区+寄存器，数据通路特点多进单出
    • 控制单元 = 系统控制模块 + 指令缓存 + 标量指令处理队列 + 指令发射模块 + 矩阵运算队列 + 向量运算队列 + 存储转换队列 + 事件同步模块
  • AI CPU
• 缓存Cache + 缓冲区Buffer
• 数字视觉预处理模块DVPP等
  
  

昇腾硬件产品