2025年12月13日
分布式训练知识
摘要： 目录基本概念节点集群的层次结构GPU之间的互联层次并行策略选择训练范式数据并行模型并行张量并行流水线并行训练方法单进程多GPU训练分布式训练 基本概念 节点 节点是一个独立的物理服务器，通常包含： 多个CPU（如2颗Intel Xeon，共128个核心） 大容量内存（如1TB DDR4） 多个GPU 阅读全文
posted @ 2025-12-13 22:26 最爱丁珰 阅读(4) 评论(0) 推荐(0)