hf镜像下载会快很多:https://hf-mirror.com/ 实际下载模型界面和hugginface一致
下载脚本
huggingface-cli download --token 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 jinaai/jina-embeddings-v2-base-zh --local-dir jina-embeddings-v2-base-zh
HugginFace官网:https://huggingface.co/models?sort=downloads
大模型存储格式介绍: https://zhuanlan.zhihu.com/p/686570419
格式1:.safetensors 格式2: torch.save
torch.save
保存的内容比.safetensors
多很多。所以,从torch.save
转到.safetensors
是比较简单的,官方也给出了转换脚本。
总的来说,.safetensors
是针对huggingface transformers类模型的权重存储需求而设计的一种简单的跨框架文件格式,抛弃了torch.save
支持的非常多大模型用不到的特性,所以才能够变得简单、高效。
下载模型并运行在ollama