从零开始制作PyTorch的Singularity容器镜像

技术背景

在前面的博客中,我们大篇幅的使用到了Docker和Singularity这两种常见的容器化编程环境解决方案,使得我们的各个编程环境能够更好的隔离。如果要展开讲解容器化编程环境的重要性的话,我们有可能会发现容器并不是那么的必须:比如解决python库的依赖冲突问题,我们可以选择使用python的virtualenv或者conda的虚拟环境;比如解决gcc的版本依赖冲突,我们可以手动配置和选择对应的版本;比如对于我们没有root权限和对外网络的环境,想要安装一些工具可以采用源码编译安装。那么,这些种种的问题,如果我们采用Singularity的方案,就可以一次性的解决。而且容器化是一个趋势,比如各种的机器学习框架都会提供容器版本的安装方案,像MindSpore和Tensorflow等等。这里我们尝试使用Singularity的容器def文件(类似于Docker的Dockerfile,而且兼容Docker的镜像),去构造一个Pytorch专属的编程环境。

环境准备

这里我们假设本地的容器环境是已经安装完毕的,可以通过如下指令进行检验:

dechin@ubuntu2004:~/projects/pytorch$ singularity --version
singularity version 3.8.0-rc.1

建议至少使用3.5以上版本的Singularity,否则会有编译不兼容的问题。关于Singularity的安装与基本使用,可以参考这篇在Manjaro Linux上安装Singularity的方法、以及在CentOS上安装Singularity的方法,还有这篇用Singularity来配置MindSpore环境的博客

制作def文件

Singularity的def文件类似于Docker的Dockerfile,用于定义一个容器镜像,而在这个文件中我们除了指定基础镜像之外,还可以指定下载基础镜像之后要执行的配置项目。我们先看一个简单例子:

dechin@ubuntu2004:~/projects/pytorch$ cat pytorch.def 
Bootstrap: docker
From: ubuntu
%post
    cp -a /etc/apt/sources.list /etc/apt/sources.list.bak
    sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list
    sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list
    apt-get -y update
    apt -y install python
    apt -y install python3-pip
    pip3 install torch==1.8.1+cu111 torchvision==0.9.1+cu111 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

这个例子就实现了pytorch整个的容器化安装流程,但是这里不建议大家直接使用我写的这个def文件来制作镜像,这里面最后一步安装pytorch的指令,需要适配自己本地的环境进行调整。下面解释一下这些指令的含义:

  • Bootstrap用于指定下载的仓库类型,建议是选取docker,因为这里面的镜像是最多的。
  • From用于指定一个基础镜像的版本,因为ubuntu是一个使用比较广泛的发行版,因此我们指定ubuntu的时候,脚本会自动从dockerhub上面寻找最新版本的ubuntu镜像进行下载。当然我们也可以指定一个特殊的版本,比如可以指定为ubuntu:16.04
  • %post是在容器镜像中执行的系统指令,这些指令执行完成后生成的文件等会被打包保存到我们的镜像sif文件中。类似的指令还有%environment,可用于配置export环境变量,还有%runscript可用于执行一些脚本命令。
  • cpapt-get update这4个步骤,是在容器内更新系统镜像源,我们采用的是华为云的镜像源https://mirrors.huaweicloud.com/,一般国内的镜像源在使用apt下载东西的时候会有比较明显的加速效果,当然这个镜像源仓库还有很多其他的源,比如pip源等等。
  • 在这个镜像文件中我们可以直接使用apt来安装python和pip,但是注意安装的时候要加上-y的选项,这个选项可以帮助我们默认跳过需要手动确认的项目,我们知道在apt安装的过程经常会暂停下来,要求输入一个y之后才能继续往下安装,但是这个在使用镜像的时候是没办法支持手动的输入的。
  • 最后我们按照参考链接1中给出的安装指令进行安装,注意要匹配好自己的环境,本文采用的配置项目如下截图所示:

构建sif文件

在完成上述步骤的镜像配置文件后,可以用如下的指令进行镜像的构建:

sudo singularity build pytorch.sif pytorch.def

在执行的过程中会有大量的信息弹出,我们只关注下开头和结尾即可:

INFO:    Starting build...
Getting image source signatures
Copying blob 345e3491a907 skipped: already exists  
Copying blob 57671312ef6f skipped: already exists  
Copying blob 5e9250ddb7d0 [--------------------------------------] 0.0b / 0.0b
Copying config 7c6bc52068 done  
Writing manifest to image destination
Storing signatures
2021/06/15 09:44:57  info unpack layer: sha256:345e3491a907bb7c6f1bdddcf4a94284b8b6ddd77eb7d93f09432b17b20f2bbe
2021/06/15 09:44:58  info unpack layer: sha256:57671312ef6fdbecf340e5fed0fb0863350cd806c92b1fdd7978adbd02afc5c3
2021/06/15 09:44:58  info unpack layer: sha256:5e9250ddb7d0fa6d13302c7c3e6a0aa40390e42424caed1e5289077ee4054709
INFO:    Running post scriptlet
+ cp -a /etc/apt/sources.list /etc/apt/sources.list.bak
...
Successfully installed numpy-1.20.3 pillow-8.2.0 torch-1.8.1+cu111 torchaudio-0.8.1 torchvision-0.9.1+cu111 typing-extensions-3.10.0.0
INFO:    Creating SIF file...
INFO:    Build complete: pytorch.sif

一般如果有报错的话中途就会停下来,如果看到上面的这个指令,基本就构建成功了,并且可以在当前目录下看到一个新生成的sif文件:

dechin@ubuntu2004:~/projects/pytorch$ ll
总用量 4086900
drwxrwxr-x 2 dechin dechin       4096 6月  15 09:53 ./
drwxrwxr-x 8 dechin dechin       4096 6月  15 09:34 ../
-rw-rw-r-- 1 dechin dechin        498 6月  15 09:44 pytorch.def
-rwxr-xr-x 1 dechin dechin 4184969216 6月  15 09:53 pytorch.sif*

这个就是我们构建好的pytorch的镜像了。

PyTorch镜像测试

首先我们看一下镜像中python的版本:

dechin@ubuntu2004:~/projects/pytorch$ singularity exec pytorch.sif python3 --version
Python 3.8.5

因为pytorch对python的版本没有比较特殊的要求,所以这里3.7或3.8或3.9都是可以的。接下来执行一个pytorch官方给出的测试示例,生成一个随机数矩阵:

dechin@ubuntu2004:~/projects/pytorch$ singularity exec pytorch.sif python3 -c "import torch;x = torch.rand(5, 3);print(x)"
tensor([[0.2045, 0.2268, 0.2132],
        [0.4473, 0.3536, 0.8075],
        [0.0951, 0.0261, 0.5950],
        [0.7112, 0.0449, 0.4564],
        [0.8697, 0.7536, 0.7823]])

上述运行的方式是采用了python3 -c的方式,省去了再写一个py文件的繁琐,只是需要注意的地方,在于我们要将正常py文件中的换行符替换成这里的分号,这里执行成功了,那么就代表我们的容器化安装是成功了。但是我们需要进一步的确认下,torch能否正常的使用cuda环境,因为这是GPU加速的重点配置。测试可以使用官方给出的这个运行指令:

dechin@ubuntu2004:~/projects/pytorch$ singularity exec pytorch.sif python3 -c "import torch;print(torch.cuda.is_available())"
False

第一次看到这个结果的时候,我优先考虑的是,是否cudatoolkits没有安装的原因?因为在MindSpore中对于这个cudatoolkits是有依赖的,并且使用的是conda来安装,但是这里我们直接装的python没有采取conda的方法。但是转念一想,这里的Singularity运行指令上没有指定GPU环境,更有可能是这个问题。因此加上了--nv的选项,运行结果如下:

dechin@ubuntu2004:~/projects/pytorch$ singularity exec --nv pytorch.sif python3 -c "import torch;print(torch.cuda.is_available())"
True

可以看到pytorch的GPU版本是运行成功了的,或者应该说成功调用到了GPU。

Tricky的配置

使用容器化的方案来运行的话,在运行环境的隔离上面是做的非常好的,但是有一个缺点就是运行的指令太长了,虽然容器镜像的位置是固定不变的,但是每次执行这么一大串指令总觉得麻烦,因此就想到了在环境变量配置文件.bashrc中加上一个声明,用更加简短的语句来替代长指令:

alias mindspore='singularity exec --nv /home/dechin/tools/singularity/mindspore-gpu_1.2.0.sif python'
alias pytorch='singularity exec --nv /home/dechin/projects/pytorch/pytorch.sif python3'

写入到.bashrc文件后,需要source ~/.bashrc指令来使得配置生效,然后我们就可以使用pytorch这样的指令来运行一些pytorch的代码或者命令:

dechin@ubuntu2004:~/projects/pytorch$ pytorch -c "import torch;print('import success')"
import success

总结概要

这篇文章主要介绍Facebook所主导的机器学习框架PyTorch的容器化安装方法,基于HPC环境常用的Singularity高性能容器,并且兼容与结合了Docker容器镜像的生态,非常的友好。在容器化的编程环境中,我们不仅可以避免不同框架对于python库或者系统软件版本的依赖冲突,还可以很大程度上解决因为没有root权限以及网络外访权限的环境下所带来的极大的麻烦,故推荐使用这种方案进行安装和运行。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/pytorch.html

作者ID:DechinPhy

更多原著文章请参考:https://www.cnblogs.com/dechinphy/

打赏专用链接:https://www.cnblogs.com/dechinphy/gallery/image/379634.html

腾讯云专栏同步:https://cloud.tencent.com/developer/column/91958

参考链接

  1. https://pytorch.org/get-started/locally/
“留一手”加剧内卷,“讲不清”浪费时间。
posted @ 2021-06-15 10:53  DECHIN  阅读(389)  评论(2编辑  收藏  举报