ollama如何运行(1): gguf+.modelfile+tokenizer.json+vocab.txt

除了 .gguf.modelfile,一个完整的 Ollama 模型构建环境可能还会涉及以下几种文件类型或资源结构:


📁 常见文件 / 资源类型一览

1. 模型权重类

  • .gguf:主权重文件(包含量化后的模型张量与结构信息)
  • .bin(旧格式,如 ggml):老版本的权重文件,不推荐新项目使用

2. 模型构建指令

  • .modelfile:Ollama 的模型构建说明(类似 Dockerfile)

3. 词汇表 / 分词器

  • tokenizer.json:用于分词器定义(如 BPE、SentencePiece)
  • vocab.txt / vocab.json:特定格式的词表文件,部分模型依赖
  • merges.txt:用于 BPE 分词器的 merge 规则文件(与 vocab 配合)

4. 模板相关

  • 模板文件(Optional):定义 prompt 前缀、对话角色、停用词等,如:
    SYSTEM: "You are an assistant."
    STOP: ["</s>", "<|user|>"]
    

5. LICENSE 许可证

  • 模型分发需要指定开源许可证,如:
    LICENSE "llama2-cc-nc"
    

6. 配置文件(少数模型使用)

  • .yaml / .json 配置:定义模型超参数、rope频率设置、KV-cache等运行策略;
  • 在 Ollama 中,这些内容通常被内嵌到 .gguf.modelfile 中,显式存在较少。

🧭 文件之间的关系

graph TD A[modelfile] --> B[.gguf] A --> C[template & system prompt] A --> D[license & metadata] B --> E[tokenizer.json] B --> F[vocab.txt / merges.txt]

🛠️ 构建步骤简述

  1. 准备 .gguf(可转换自 Transformers 模型)
  2. 准备 .modelfile,指定模型配置、prompt 模板等
  3. 执行命令:
ollama create my-model -f path/to/Modelfile
posted @ 2025-07-07 22:19  ffl  阅读(142)  评论(0)    收藏  举报