在cloud studio上使用大语言模型
目前免费版的不能直接连接到HF下载模型,所以需要使用镜像站。只不过镜像站下载也比较慢,大概一个小时,慢慢等就好了
直接在终端中运行以下命令
# 设置HF镜像站环境变量(仅对当前终端会话有效)
export HF_ENDPOINT="https://hf-mirror.com"
# 然后使用huggingface-cli下载模型(无需额外参数)
huggingface-cli download --resume-download bert-base-uncased --local-dir 要下载到的目录
然后在对应目录下进行进行设置
Hugging Face 的缓存目录要求模型文件必须存放在特定的子目录结构中,格式为
TRANSFORMERS_CACHE/
└── models--<model_name>/
└── snapshots/
└── <commit_hash>/
├── config.json
├── pytorch_model.bin
└── ...
这个哈希值,在windows上下载有,但是在Linux上下载没有,所以我们使用一个假的哈希骗模型
# 1. 创建标准缓存目录
mkdir -p /data2/hf_transformers/models--bert-base-multilingual-cased/snapshots/temp
# 2. 移动所有下载文件到该目录
mv /data2/hf_transformers/bert-base-multilingual-cased/* /data2/hf_transformers/models--bert-base-multilingual-cased/snapshots/temp/
# 3. 创建软链接模拟哈希值(欺骗库识别)
ln -s /data2/hf_transformers/models--bert-base-multilingual-cased/snapshots/temp /data2/hf_transformers/models--bert-base-multilingual-cased/snapshots/1234567890
然后就可以了
但是这是理论上的,不知道为什么云IDE中的.from_pretrained()还是会去连接原站,而且连接不成功读取本地的目录也会失败
所以我们必须要强制将model_args.model_name_or_path这个参数从模型名字(bert-base-multilingual-cased)变成本地目录("/data2/hf_transformers/mdels--bert-base-multilingual-cased/snapshots/manual")
然后就可以跑了,慢慢等吧

浙公网安备 33010602011771号