定义专属的大模型
定义专属的大模型
修改 Ollama 底层参数(关键防失忆步骤),调大 Ollama 的上下文窗口。因为 Agent 的多轮分析、思考链会瞬间吃满 Ollama 默认的 2K/4K 窗口,导致模型在中途逻辑崩溃。
一、 创建 Modelfile 配置文件
新建一个文本文件,命名为 Modelfile(注意没有后缀名)。内容如下:
# 指定基础模型(改为您本地 Ollama 实际下载的模型名字,如 hermes3:8b)
FROM hermes3:8b
# 强制开启 32K 巨量上下文,防止多轮分析失忆
PARAMETER num_ctx 32768
# 降低随机性,让多轮逻辑推演更严密稳健
PARAMETER temperature 0.3
操作提示:此类模型配置参数变更属于本地环境的基础设置修改,请确认参数值符合您当前硬件(尤其是显存)的承载能力。
二、 编译专属模型
打开命令行终端(Terminal),运行以下命令编译一个专属的“大脑版”模型:
ollama create hermes3-agent -f ./Modelfile
安全提示:执行此命令前,请确保您已进入
Modelfile所在的目录,且本地已成功拉取所指定的基础模型镜像。
作者:brookin
出处:http://www.cnblogs.com/brookin/
本文采用知识共享署名-非商业性使用-相同方式共享 2.5 中国大陆许可协议进行许可,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。
出处:http://www.cnblogs.com/brookin/
本文采用知识共享署名-非商业性使用-相同方式共享 2.5 中国大陆许可协议进行许可,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。

浙公网安备 33010602011771号