大模型常见文件格式safetensors vs. gguf

safetensors

  • Header: 文件的元数据（大小、版本）
  • Meta data: 列表，每个元素表示文件里存的张量的类型、形状、偏移量
  • Tensor data: 列表元素对应的张量数据

gguf

gguf不依赖外部的配置文件，它可以把配置文件、词表、tokenizer、template等存入gguf中（如果一个模型有多个gguf文件组成，只有第一个会包含这些信息）

文件格式转换

safetenors转gguf 可以使用 llama.cpp提供的convert_hf_to_gguf.py脚本。

gguf转safetensors 目前没有较好的方法。

参考文献

posted @ 2025-02-28 13:40  片刻的自由  阅读(1318)  评论(0)    收藏  举报