2023年12月8日
deepspeed加载本地huggingface数据集
摘要： 国内因huggingface访问限制，无法直接从huggingface下载数据，咱们先将数据下载到本地，修改deepspeed数据加载方式 1. 配置git全局代理【可选】 git config --global http.proxy http://127.0.0.1:1080 取消代理 git c 阅读全文
posted @ 2023-12-08 14:46 piggy侠 阅读(435) 评论(0) 推荐(0)