hf镜像下载会快很多:https://hf-mirror.com/  实际下载模型界面和hugginface一致

 

下载脚本
huggingface-cli download --token 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 jinaai/jina-embeddings-v2-base-zh --local-dir jina-embeddings-v2-base-zh

 

HugginFace官网:https://huggingface.co/models?sort=downloads

 

大模型存储格式介绍: https://zhuanlan.zhihu.com/p/686570419

格式1:.safetensors    格式2: torch.save

torch.save保存的内容比.safetensors多很多。所以,从torch.save转到.safetensors是比较简单的,官方也给出了转换脚本

总的来说,.safetensors是针对huggingface transformers类模型的权重存储需求而设计的一种简单的跨框架文件格式,抛弃了torch.save支持的非常多大模型用不到的特性,所以才能够变得简单、高效。

 

下载模型并运行在ollama

posted on 2024-08-16 09:22  1161588342  阅读(1396)  评论(0)    收藏  举报