摘要： 最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘： curl -O -L https://download.open-mpi.org/release/open-mpi 阅读全文

摘要： gcc 4.9 编译安装教程，因为项目编译过程中，需要采用特定的gcc版本来进行编译，所以进行简要记录，进行备忘： 下载：curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压：tar 阅读全文

摘要： 最近需要 Horovod 相关的知识，在这里记录一下，进行备忘： 分布式训练，分为数据并行和模型并行两种； 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上； 数据并行：不同的GPU有同一个模型的多 阅读全文