利用 proxychains 代理下载huggingface数据

socket 代理使用

1. 安装 brew install proxychains-ng
2. 配置

$ tail -n 3   /opt/homebrew/etc/proxychains.conf
#socks4 	127.0.0.1 9050
socks5 127.0.0.1 <端口>

3. 使用

# pkill proxychains4-daemon
# step 1. 
proxychains4-daemon
# step 2
proxychains4  huggingface-cli login --token $HUGGINGFACE_TOKEN --add-to-git-credential

• 下载数据的测试代码

 from datasets import load_dataset
from huggingface_hub import login

# Replace with your Hugging Face token
hf_token = "hf_**"  # 申请的token
login(token=hf_token)

# Try downloading the dataset again
dataset = load_dataset("Idavidrein/gpqa", 'gpqa_extended', token=hf_token)
print(dataset)

4. 注意在huggingface 生成token时，需要勾选权限。第一次没有勾选，导致不成功。