ollama部署大模型

　Ollama 是目前全球最火的开源工具之一，它的核心作用是让你能在自己的电脑上，像运行普通软件一样运行各种强大的 AI 大模型（如 Llama 3、Gemma、Mistral 等）。简单来说，它把复杂的 AI 模型部署过程简化成了一键安装。

 

ollama官网地址:https://ollama.com/

1. 下载

　　打开官网，下载ollama。本机为windows，以windows为例。

 

2. 模型查看

　　打开官网，可以搜索或查看ollama官网直接支持下载的模型:

 

 

2. 运行大模型

　　Ollama 本身没有复杂的图形窗口，主要的交互是在 终端（Terminal） 中完成的。在黑窗口中可以输入以下命令并按回车(以llama3为例)

　　ollama run llama3

　　下载完成后，终端会出现 >>> 符号，你现在就可以直接输入中文和 AI 聊天了。

　　ollama后台启动成功后，windows系统托盘会有ollama羊驼图标，或者我们在浏览器输入http://localhost:11434显示如下:

 

　　查看已下载模型命令: ollama list

　　删除不需要的模型命令:ollama rm 模型名

　　查看ollama版本:ollama -v

　　对于目前新版本都是有界面的，可以选择不同模型对话（未下载的模型会下载到本地,cloud的一半也会有免费额度）:

3. 代码调用:

调用方式有很多，如下:

• ollama调用
• 标准的 requests 库
• 使用 OpenAI SDK（伪装成 OpenAI）
• 使用 curl 命令

　　这里给出ollama调用例子:比较简单如下:

pip install ollama

 

import ollama

# 读取你的图片文件
with open('C:/Pictures/1.bmp', 'rb') as f:
    img_data = f.read()

response = ollama.chat(
    model='llava',  # 必须使用带视觉功能的模型
    messages=[{
        'role': 'user',
        'content': '这张图里的线缆有没有明显的断裂？',
        'images': [img_data]
    }]
)

print(response['message']['content'])

　　上面例子中使用多模态大模型llava测试了一个图片。

 下面测试一个局域网内调用glm-ocr大模型(在 2026 年，GLM-OCR 已经成为本地 OCR 领域的“神机”，因为它只有 0.9B 的参数量，却能处理极其复杂的表格、公式和多语言文档。):

ollama pull glm-ocr

核心提示词 (Prompt) 技巧

GLM-OCR 预设了几种特定的指令，输入不同的 Prompt 会有不同的效果：

• 普通识别：使用 Text Recognition:

• 公式识别：使用 Formula Recognition: (识别 LaTeX)

• 表格识别：使用 Table Recognition: (返回 Markdown 表格)

import time
from ollama import Client


def ocr_remote_server(image_path, server_ip):
    try:
        # 1. 初始化客户端，指向局域网服务器
        client = Client(host=server_ip)

        # 2. 发起请求
        response = client.chat(
            model='glm-ocr',
            messages=[{
                'role': 'user',
                'content': 'Text Recognition:',  # 保持使用 GLM-OCR 专用触发词
                'images': [image_path]  # 库会自动处理路径或字节流
            }],
            options={
                'num_ctx': 16384,
                'temperature': 0
            }
        )

        return response['message']['content']

    except Exception as e:
        return f"局域网调用出错: {e}"


# --- 测试运行 ---
LAN_SERVER = "http://192.168.76.98:11434"
img_path = r'1_180.png'

print(f"正在请求服务器 {LAN_SERVER} ...")
t1=time.time()
result = ocr_remote_server(img_path, LAN_SERVER)

print("--- GLM-OCR 识别结果 ---")
t2=time.time()
print(result)
print(t2-t1)

 　　时间与识别效果还不错。

 

 

 

小结:对ollama安装部署大模型作了简单的介绍，使用ollama调用了本地大模型测试图片与文本识别。