摘要:最近编译 horovod框架过程中,需要使用openmpi 4.0但是环境中的openmpi版本比较低,所以在手动安装openmpi4.0 用于编译,下面对过程进行简要记录,进行备忘: curl -O -L https://download.open-mpi.org/release/open-mpi 阅读全文
posted @ 2019-11-15 21:37 xuyaowen 阅读 (35) 评论 (0) 编辑
摘要:gcc 4.9 编译安装教程,因为项目编译过程中,需要采用特定的gcc版本来进行编译,所以进行简要记录,进行备忘: 下载:curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压:tar 阅读全文
posted @ 2019-11-15 20:26 xuyaowen 阅读 (37) 评论 (0) 编辑
摘要:最近需要 Horovod 相关的知识,在这里记录一下,进行备忘: 分布式训练,分为数据并行和模型并行两种; 模型并行:分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上; 数据并行:不同的GPU有同一个模型的多 阅读全文
posted @ 2019-11-15 18:45 xuyaowen 阅读 (45) 评论 (0) 编辑