昇腾RecSDK Torch整体方案介绍

RecSDK 方案概述

Rec SDK作为基于昇腾平台的搜索推荐广告框架，为支撑大规模搜索推荐广告场景，提供多种功能特性，助力完成搜索推荐广告模型的高效训练。如下表这张图展示了推荐SDK在昇腾软硬生态中的位置：

1. 硬件方面，SDK可在已发布的训练服务器Atlas 800T A2和Atlas 800I A2推理服务器进行训练和推理作业。

2. 神经网络计算架构CANN为包括推荐SDK在内的所有上层应用提供了丰富、强大的算子能力、图引擎能力还有通信能力。

3. 框架适配，推荐SDK的API也针对tensorflow和pytorch框架进行了更亲和的适配，提供高度兼容的API接口，实现模型的无缝迁移与快速迭代。

4. 模型开发：提供了极简易用的API，符合开发tensorflow和pytorch原生模型的流程和使用方式，降低用户的学习成本；提供的样例模型，使用户能够快速复现基准模型；提供了模型迁移手册和精度调优手册，让用户能够更快地掌握业务模型的迁移和调优。

5. 模型训练：RecSDK的核心能力主要集中在计算和稀疏表存储上。计算又分为CPU侧和NPU侧，CPU侧对样本做了并行加速处理，提供了特征准入、淘汰和映射等功能；NPU侧，对关键算子（如HSTU、Fbgemm）进行深度优化与融合，充分发挥昇腾硬件算力。

关键性能特性

• 动态特征管理：支持特征准入与淘汰机制，提升模型训练的精准性与效率。05_推荐系统准入与淘汰策略技术详解
• 多级缓存体系：实现HBM、DDR与SSD三级存储协同，优化数据存取速度。02_昇腾推荐系统架构解析：嵌入表存储到多级缓存的全链路设计
• 算子深度优化：对Fbgemm等关键算子进行定向优化，提升计算性能。08_昇腾推荐系统加速算子：FBGEMM算子库
• 流水线并行执行：实现CPU与NPU间的流水线协作，最大化系统资源利用率。06_昇腾流水线优化技术详解
• 梯度累计、通信优化等多种策略对性能进行优化。07_昇腾嵌入表性能提升

通过上述功能，Rec SDK构建了一套完整、高效的大规模推荐系统训练解决方案，显著提升模型开发与部署效率。