使用脚本从HuggingFace镜像站下载模型或数据集

在模型训练和部署中，往往会遇到访问HF超时的问题。因此我们常常会提前将模型权重或数据集下载到本地。但相关文件往往比较多，在网页上手动下载太过繁琐。一个一键下载指定HF仓库的脚本就非常实用。

1. 命令行安装huggingface-cli

pip install -U huggingface_hub

2. 创建python脚本如下

import os
// 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
// 下载模型
os.system('huggingface-cli download --resume-download HF上的模型名称 --local-dir 本地存放路径')
// 下载数据集
os.system('huggingface-cli download --repo-type dataset --resume-download HF上的数据集名称 --local-dir 本地存放路径')