国内的开源AI模型共享网站(AI模型的GitHub)—— mindscope —— 使用git lfs方式下载模型文件
参考前文:
国内的开源AI模型共享网站(AI模型的GitHub)—— mindscope —— 对标外网的“huggingface”,mindscope好用吗?
使用git lfs方式下载mindscope的模型参数:
使用秘钥下载:
不使用秘钥下载:(公开项目)
额外需要注意的是mindscope的模型文件加入git库时需要使用git lfs进行设置,其本质也就是创建.gitattributes文件,然后指定模型参数文件不加入git的版本控制中,然后使用git的上传方式对带有lfs跟踪的项目进行上传,这样就会对没有指定为lfs的文件通过版本控制的方式上传,而对使用lfs指定的模型文件则不使用版本控制并上传,具体命令:(唯一的区别就是对大文件使用git lfs track命令进行跟踪)
点击查看代码
git lfs track "*.psd" // 指定要追踪的大文件类型
git add .gitattributes // 将.gitattributes添加到版本控制中
git add file.psd
git commit -m "Add a LFS file"
git push origin master
对于带有lfs文件的项目下载,官方的命令:
点击查看代码
git clone https://github.com/user/repository.git
cd repository
git lfs install
git lfs pull
不过经过测试后发现不使用带有lfs文件的项目下载命令而是直接使用git的标准下载命令,如本文之前所给出的两个方法,也可以对lfs类型的模型参数文件进行下载。
不过需要注意,使用git lfs下载模型参数文件的时候不能使用代理,否则会报错,如:
当然我们也可以通过浏览器下载的方式直接对项目中的模型参数文件进行下载:
PS. 可能因为mindscope是阿里公司的,而阿里公司的服务器也都是在国内的,因此下载模型参数文件的速度也是蛮快的,基本可以达到20MB/s,对于大模型参数文件下载也是可以应付的。
本博客是博主个人学习时的一些记录,不保证是为原创,个别文章加入了转载的源地址,还有个别文章是汇总网上多份资料所成,在这之中也必有疏漏未加标注处,如有侵权请与博主联系。
如果未特殊标注则为原创,遵循 CC 4.0 BY-SA 版权协议。
posted on 2024-01-01 20:40 Angry_Panda 阅读(226) 评论(0) 编辑 收藏 举报