ollama使用大模型

参考：https://www.cnblogs.com/qubernet/p/18702147（ollama安装）

@

目录

• 概要
• ollama安装
• ollama使用模型
• 使用chrome插件对话
• 小结

概要

这边仅介绍ollama的windows安装

因公司规划加上现在大热的LLM大语言模型应用，打算自己搭建一套大模型对话系统，找了通义千问问了一波运行大模型要先本地安装个ollama，原来我在我配置较低的服务器上跑的根本跑不起来，还是先我windows电脑上试试看，记录如下

ollama安装

• 先去官网下载exe，然后放到你指定位置，如D:/ollama，
• 再以管理员身份运行cmd，再执行如下OllamaSetup.exe /DIR="D:\ollama"
• 弹出安装框，直接点安装就会安装到你指定的文件夹里面，不用担心装C盘了
• 安装完成后去设置环境变量，在用户变量-Path 里面新建个写D:\ollama
• 然后再新建个环境变量OLLAMA_MODELS,值设置为D:\ollama\models（设置下载的模型所在位置）
• 接着去cmd里面输入ollama -v，能显示版本号即安装成功

ollama使用模型

• 去官网模型页，找到符合你电脑配置的模型（问ai）
• 然后执行如：ollama run qwen:7b-chat一般几个G，等下载完成后会自动进入，就可以发起问答了,如图

相关ollama操作命令可见ollama -h

使用chrome插件对话

直接去chrome插件商店搜索“Page Assist”安装

小结

ollama一款能直接运行大模型的工具，后期补上linux安装教程