【NVSHMEM】NVSHMEM文档

NVIDIA OpenSHMEM Library (NVSHMEM) Documentation

NVIDIA OpenSHMEM Library (NVSHMEM) Documentation — NVSHMEM 3.2.5 documentation

NVSHMEM为NVIDIA® GPU集群实现了OpenSHMEM并行编程模型。该技术采用分区全局地址空间（PGAS）架构，可将内存跨GPU扩展，并提供以下功能接口：

1. 支持在CUDA内核内部直接发起细粒度GPU-GPU数据传输
2. 支持基于CUDA流的数据传输
3. 支持从CPU端发起数据传输

目录：

• 简介 Introduction 

• • 核心特性 Key Features 
  • 通信传输方式 Communication Transports 
  • 技术优势 Advantages Of NVSHMEM 
  • GPU主动通信与强扩展性 GPU-Initiated Communication And Strong Scaling

• 使用指南 Using NVSHMEM

• • 示例程序 Example NVSHMEM Program
  • InfiniBand GPUDirect异步传输 Using the NVSHMEM InfiniBand GPUDirect Async Transport
  • 与MPI/OpenSHMEM协同使用 Using NVSHMEM With MPI or OpenSHMEM
  • 程序编译 Compiling NVSHMEM Programs
  • 程序运行 Running NVSHMEM Programs
  • 通信模型 Communication Model
  • 数据一致性机制 Data Consistency
  • 多进程GPU支持 Multiprocess GPU Support
  • 应用/库构建指南 Building NVSHMEM Applications/Libraries

• NVSHMEM与CUDA模型 NVSHMEM and the CUDA Model

• • CUDA执行模型 The CUDA Execution Model

• • • CUDA任务提交机制 Work Submission in CUDA
    • CUDA抽象机架构 The CUDA Abstract Machine

• • 非本地操作与CUDA执行模型 Nonlocal Operations and the CUDA Execution Model

• • • CUDA流与循环依赖 CUDA Streams and Circular Dependencies
    • CUDA流顺序与执行资源 CUDA Stream Order and Execution Resources
    • CUDA流伪循环依赖 CUDA Streams and False Circular Dependencies
    • 内核内同步机制 Intra-Kernel Synchronization
    • 通过协同内核启动确保非本地操作安全 Ensuring Safe Nonlocal Operations Using NVSHMEM Cooperative Kernel Launch

• • 隐式异步cudaMemcpy机制 Implicitly Asynchronous cudaMemcpy

• 内存模型 Memory Model

• • 对称对象指针 Pointers to Symmetric Objects
  • 操作顺序控制 Ordering of Operations
  • 原子性保证 Atomicity Guarantees
  • NVSHMEM与OpenSHMEM差异 Differences Between NVSHMEM and OpenSHMEM

• • • 阻塞获取操作顺序 Ordering of Blocking Fetching Operations
    • 可见性保证机制 Visibility Guarantees

• 执行模型 Execution Model

• • 操作执行进度 Progress of NVSHMEM Operations
  • 操作调用方式 Invoking NVSHMEM Operations

• 库常量定义 Library Constants
• 库句柄管理 Library Handles
• 环境变量 Environment Variables

• • 标准选项 Standard options
  • 引导选项 Bootstrap options
  • 扩展选项 Additional options
  • 集合通信选项 Collectives options
  • 传输选项 Transport options
  • NVTX分析选项 NVTX options

• API参考 NVSHMEM APIs

• • 接口概览 Overview of the APIs
  • 库初始化与查询 Library Setup, Exit, and Query
  • 线程支持 Thread Support
  • 内核启动例程 Kernel Launch Routines
  • 内存管理 Memory Management
  • 团队管理 Team Management
  • 远程内存访问 Remote Memory Access
  • 原子内存操作 Atomic Memory Operations
  • 信号操作 Signaling Operations
  • 集合通信 Collective Communication
  • 点对点同步 Point-To-Point Synchronization
  • 内存顺序控制 Memory Ordering

• 应用示例 Examples

• • 属性初始化示例 Attribute-Based Initialization Example
  • 集合启动示例 Collective Launch Example
  • 流式处理示例 On-Stream Example
  • 线程组示例 Threadgroup Example
  • 块写入示例 Put on Block Example
  • 环形广播示例 Ring Broadcast Example
  • 环形全归约示例 Ring Allreduce Example

• 故障排查 Troubleshooting And FAQs

• • General FAQs
  • Prerequisite FAQs
  • Running NVSHMEM Programs FAQs
  • Interoperability With MPI FAQs
  • Interoperability With OpenSHMEM FAQs
  • GPU-GPU Interconnection FAQs
  • NVSHMEM API Usage FAQs
  • 调试技巧 Debugging FAQs
  • Miscellaneous FAQs

• 附录 Acknowledgements

• • Notices
  • Trademarks
  • Copyright

附录 Indices and tables

• Index
• Module Index
• Search Page