如何从huggingface.co上快速下载数据?
huggingface托管的大模型文件较大,用git拉取需要LFS支持,速度比较慢,也容易断线,需要不断尝试,费时费力。
某些模型可以使用镜像网站 https://aliendao.cn 下载,逐个文件下载比较麻烦,如果有python环境,建议用下载器model_download.py下载,下载速度能达到20M/s,
命令见:python model_download.py --repo_id runwayml/stable-diffusion-v1-5 --mirror
如果下载其他模型未命中镜像,model_download.py 也会用transformer本身的下载功能加上自动重试和校验,速度也能达到4M/s,也不用人工干预。
可以试试lfs环境。LFS是Git Large File Storage(LFS),大型文件存储,算是Git的一个扩展。如果需要下载模型到本地使用,就可以用LFS批量下载模型。安装非常简单,只不过在安装Git LFS之前,要求Git已经安装并配置好了SSH密钥连接到GitHub、huggingface或其他代码仓库。
LINUX系统:
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
是将Git LFS作为一个额外的包安装到Git中。如果使用Windows下的Linux子系统,可以像在Linux中一样直接安装Git LFS。
在Linux上,可以通过软件包管理器(如yum或apt)安装Git LFS。
Windows系统:直接:git lfs install如果显示Git LFS initialized说明已经OK。当然经常可能会遇到github和huggingface连接不上的问题,可以给git加上代理。
git lfs clone https://huggingface.co/lllyasviel/ControlNet-v1-1
可以显示下载进度和下载速度了!
#如果实在不行,就找已下过的人要一下模型吧。或者使用国内liblib、吐司、esheep这些网站,里面很多SD模型。