解决|配置denoising diffusion bridge model环境|flash-att、openmpi、mpi4py安装问题

目录

• 安装flash-att
• 安装openmpi和mpi4py
  • 1、先安装openmpi
  • 2、再安装mpi4py
• 安装clip包
• 本文其他参考链接

我在配置DDBM（https://github.com/alexzhou907/DDBM/tree/main）环境时遇到的问题：
1、flash-att安装失败
2、openmpi和mpi4py安装失败
3、网络问题，clip @ git+https://github.com/openai/CLIP.git安装clip包失败
以下是基于我的情况的解决办法

安装flash-att

flash-att（1）对CUDA版本有要求（2）pytorch版本需与flash-att版本有一致性（3）需先安装ninja，否则编译很慢（当然安装了还是很慢）
1、首先通过nvcc -V查看环境是否含有cuda以及版本是否在11.6及以上。如果不是，则去官网（https://developer.nvidia.com/cuda-toolkit-archive）下载
*还要注意，nvidia driver和CUDA版本的兼容性，可参考https://blog.i-net.pub/archives/nvidia-driver-ban-ben-he-cuda-ban-ben-jian-rong-xing
安装CUDA完成后，需添加环境变量，然后再检查nvcc -V的CUDA版本是否已经改变

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

2、关于torch版本和flash-att版本的一致性，推荐DDBM中使用的版本

pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121
pip install ninja
pip install flash-attn==2.0.4 

*还要注意，torch和cuda版本的兼容性
3、按照以上流程，flash-att的安装还是很慢（数小时），我是晚上走之前放着安装，第二天早上就好了。急的可以参考从源码直接编译（https://zhuanlan.zhihu.com/p/655077866）

安装openmpi和mpi4py

1、先安装openmpi

（1）检查是否安装了必要的编译器

gcc --version
g++ --version
python --version

（2）官网下载最新版本的openmpi压缩包，上传至服务器（路径任意）
官网链接：https://www.open-mpi.org/software/ompi/
我下面以5.0.6版本为例
（3）解压
tar -zxvf openmpi-5.0.6.tar.gz
（4）进入解压后文件夹，我这里新建了一个build文件夹，进行配置、编译、安装

cd openmpi-4.1.5
mkdir build
cd build
../configure --prefix=/usr/local/openmpi
make
make install

（5）配置环境变量
注意，设置的目录应与之前设置的--prefix=/usr/local/openmpi一致

vi /etc/profile
# 按i开始编辑
export OPAL_PREFIX=/usr/local/openmpi # 这句我不加的话会报错找不到配置文件，应该是多个openmpi的原因，这里指定一下安装的路径就好了
export PATH=/usr/local/openmpi/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/openmpi/lib:$LD_LIBRARY_PATH
export MANPATH=/usr/local/openmpi/share/man:$MANPATH

编辑完esc退出编辑，然后:wq保存并退出
最后，重新加载配置：

source /etc/profile

（6）测试是否成功

cd ../examples
make
mpirun --allow-run-as-root -np 4 hello_c

2、再安装mpi4py

conda install mpi4py
此时就很丝滑了

安装clip包

参考https://blog.csdn.net/qq_52476897/article/details/134555133

本文其他参考链接

flash-att：
https://zhuanlan.zhihu.com/p/655077866
https://blog.csdn.net/xiaodingdang1022/article/details/135996582
https://blog.csdn.net/lckj2009/article/details/136054392
openmpi：
https://www.cnblogs.com/Netsharp/p/17241587.html
https://zhuanlan.zhihu.com/p/364717298
https://blog.csdn.net/qq_26822029/article/details/107930758
https://www.cfd-online.com/Forums/openfoam-installation/214330-cannot-open-configuration-file-opt-openmpi-share-openmpi-mpicc-wrapper-data-txt.html