15天学会AI应用开发(十四)搭建LangChain的开发环境
LangChain 支持对接各类在线大模型,包括OpenAI、文心、通义、讯飞等,也支持加载电脑本地的离线大模型。为避免在线大模型带来的大量Token消耗,接下来以离线大模型为例介绍如何搭建LangChain的开发环境。
一、安装Ollama
AI应用在加载离线大模型时用到了 Ollama ,它的安装包比较大,有1.8G左右,AI应用的智能体开发必须安装Ollama。
Ollama的下载页面为 https://ollama.com/download ,但外网速度较慢下载很耗时,建议访问博主提供的下载链接 https://www.alipan.com/s/gkea9rqEDTU 。
下载回来的Ollama安装包叫做OllamaSetup.exe,双击它即可安装至系统盘的默认目录。若想修改Ollama的安装路径,就要打开命令行,输入下面的安装命令(以安装到E盘为例):
等待安装完毕,在安装目录下会找到“ollama app.exe”和“ollama.exe”两个程序,前者提供了可视化界面,而后者用于命令行,AI应用开发主要使用后者。
另外,需确保系统的PATH环境变量中能找到Ollama的安装目录,例如“E:\Program Files\Ollama”。如果PATH环境变量不包含Ollama的安装目录,则需手工添加该目录。
二、下载离线大模型
通过Ollama可以很方便地下载离线大模型,比如在命令行窗口执行下面命令,即可下载大模型qwen2:1.5b:
不过下载回来的离线大模型默认放在系统盘的“C:\Users\你的用户名\.ollama\models”目录下,若想修改大模型的保存目录,就要新建名叫OLLAMA_MODELS的环境变量,并将变量值设为指定路径,例如“F:\ollama_models”,那么后续下载的大模型都会保存到新目录下。
等待大模型下载完毕,在命令行窗口执行下面命令,即可启动Ollama并加载大模型:
然后启动浏览器打开链接“http://localhost:11434/api/tags”,观察是否返回json串,有返回表示启动成功。
比如下面返回的json串表示Ollama已加载大模型qwen2:1.5b:
三、安装LangChain
在命令行窗口执行下面命令,即可安装LangChain及其用到的Ollama插件:
在命令行窗口执行下面命令,可查看当前三个LangChain的安装版本,建议三个版本都不低于1.0:
然后编写Python测试代码如下,由LangChain调用离线大模型qwen2:1.5b来回答问题:
运行上面的Python代码,输出日志结果如下:
可见大模型正常输出回答内容,即介绍了人工智能的概念及其应用领域,正确执行的问答结果说明LangChain已经成功安装。
本系列的AI应用开发文章目录为《
浙公网安备 33010602011771号