Ollama下载模型失败问题

问题

问题描述

在终端窗口运行ollama pull qwen3:4b-instruct-2507-q4_K_M出现网络网络超时，如下截图

问题分析

应该是网络屏蔽了ollama相关的一些子域名或子域名对应的ip地址

解决

解决方法一

使用一些上网工具的TUN模式，全局流量强迫全走TUN接口应该就可以了。

开启后就可以下载模型了

解决方法二：直接下载gguf文件

在第一条方法没有找到之前忙活半天的方法，仅做记录，不推荐使用。。。

GGUF (GPT-Generated Unified Format) 是一种文件格式，用于保存经过微调的语言模型。这种格式旨在帮助用户方便地在不同的平台和环境之间共享和导入模型。它支持多种量化格式，可以有效减少模型文件的大小。

它的前身是 GGML(GPT-Generated Model Language)，是专门为了机器学习而设计的 Tensor 库，目的是为了有一个单文件的格式，并且易在不同架构的 CPU 以及 GPU 上可以推理，但后续由于开发遇到了灵活性不足、相容性及难以维护的问题。

Ollama 支持从 GGUF 文件导入模型，通过以下步骤来实现：
1、去huggingface或者modelscope下载模型的.gguf文件

2、创建一个Modelfile文件(没有后缀！和模型文件一个目录下)，里面写入：

FROM ./Qwen3-4B-Instruct-2507-Q4_K_M.gguf

完成后的目录如下：

📁 qwen3/
├── 📁 models/
│   └── 📄 Qwen3-4B-Instruct-2507-Q4_K_M.gguf
│   └── 📄 Modelfile

3、运行Ollama命令：ollama create qwen3:4b-instruct-2507-q4_K_M -f Modelfile，运行成功后如下图：

4、验证是否有该模型
运行ollama list，终端输出如下证明安装成功

5、不推荐使用该方法的原因：
有这个模型后在终端或者是ollama上可以运行，有结果输出，但是使用代码调用时，比如：

llm = ChatOllama(model=config.LLM_MODEL, temperature=config.LLM_TEMPERATURE)

会报错没有工具可调用：

Error: registry.ollama.ai/library/qwen3:4b-instruct-2507-q4km does not support tools (status code: 400)

对比一下该方法和使用ollama命令下载后文件的目录，发现后者在下载模型同时把对应的调用工具下载到.\Ollama\model\manifests\registry.ollama.ai\library目录里了。