2021年9月30日
分布式训练问题
摘要： 1、更换Tensorflow版本后，horovodrun有问题，说没有安装MPI或Gloo。解决：按步骤全部重新安装一遍。理解：不知道Horovod到tensorflow有什么依赖关系。可能也和版本有关系，我尝试了多遍。目前使用tensorflow 1.14.0版本/MPI 4.0.0版本安装环境没 阅读全文
posted @ 2021-09-30 17:03 鸭子船长 阅读(7610) 评论(0) 推荐(0)
NCCL常用环境变量
摘要： Table 1. Knobs available for modification in NCCL Environment Variable Description Values Accepted NCCL_SHM_DISABLE The NCCL_SHM_DISABLE variable disa 阅读全文
posted @ 2021-09-30 16:57 鸭子船长 阅读(4921) 评论(0) 推荐(0)