huggingface下载慢,换用hf-mirror及huggingface-cli
【背景】
最近用Ubuntu20.04做风格迁移,被huggingface搞得非常头疼,国内hf本站下载非常慢,hf-mirror丢包率高达惊人的23%
【初次尝试】
少部分体量小的仓库用git clone还行,稍大些(例如含有lfs预训练模型的)就基本无法完成校验,clone完成后 git lfs pull 无法拉取模型文件
【第二次尝试】
用“www.hf-mirror.com”直接代替“huggingface.co”,解决了一部分问题,但还是校验非常慢,失败概率很高
【最终解决方案】
换用hf-mirror,方法是:
(1) export HF_ENDPOINT=https://hf-mirror.com ,可以添加到terminal配置里
(2)换用huggingface-cli,具体命令为
huggingface-cli download 仓库名 --local-dir 本地保存路径
注:安装huggingface-cli的命令如下:
pip install huggingface_hub
部分私人仓库可能需要token来login,命令如下:
huggingface-cli login
随后输入在http://huggingface.co上申请的token。

浙公网安备 33010602011771号