搭建一个 ollama 本地开发环境

安装了 Python 官方版本（python.org 安装包），

官方 Python + venv 虚拟环境 + pip

这是目前 Python 后端开发、LLM 应用开发更接近生产环境的方式。

整个方案。

---

一、整体架构

具体的环境：

Windows 10
│
├── Python 3.11/3.12 (官方安装)
│
├── venv虚拟环境
│
├── Ollama
│      |
│      ├── qwen2.5:7b
│      |
│      └── nomic-embed-text
│
├── ChromaDB
│
├── LangChain
│
└── RAG项目

---

二、确认 Python 安装

打开 PowerShell：

python --version

推荐：

Python 3.11.x

也可以：

py --version

查看安装位置：

where python

例如：

C:\Users\xxx\AppData\Local\Programs\Python\Python311\python.exe

---

三、建立 LLM 项目目录

例如：

mkdir D:\llm-projects
cd D:\llm-projects

建立项目：

mkdir rag-demo
cd rag-demo

目录：

rag-demo
│
├── .venv
│
├── chroma_db
│
├── documents
│
└── main.py

---

四、创建 Python 虚拟环境（替代 Conda）

执行：

python -m venv .venv

生成：

rag-demo
 |
 +-- .venv

---

五、激活虚拟环境

PowerShell：

.\.venv\Scripts\Activate.ps1

成功后：

(.venv) PS D:\llm-projects\rag-demo>

如果遇到：

running scripts is disabled

执行：

Set-ExecutionPolicy -Scope CurrentUser RemoteSigned

然后重新打开 PowerShell。

---

六、升级 pip

进入虚拟环境后：

python -m pip install --upgrade pip

检查：

pip --version

---

七、安装 ChromaDB

安装：

pip install chromadb

测试：

python

输入：

import chromadb

print(chromadb.__version__)

正常输出版本号即可。

退出：

exit()

---

八、安装 Ollama Python SDK

pip install ollama

测试：

import ollama

print("OK")

---

九、安装 LangChain

推荐拆包安装：

pip install langchain
pip install langchain-community
pip install langchain-ollama

以后调用 Ollama：

from langchain_ollama import ChatOllama

---

十、安装文档处理库

RAG通常需要读取：

• PDF
• Markdown
• Word
• HTML

安装：

pip install pypdf
pip install beautifulsoup4
pip install python-docx

---

十一、安装 Embedding 支持

推荐：

pip install langchain-huggingface

不过你的情况：

直接使用 Ollama embedding 即可。

---

十二、安装 Ollama

下载安装：

Ollama official website

检查：

ollama --version

---

十三、下载模型

1. 大语言模型

你的 P3000：

推荐：

ollama pull qwen2.5:7b

测试：

ollama run qwen2.5:7b

---

2. Embedding模型

安装：

ollama pull nomic-embed-text

查看：

ollama list

应该：

NAME                    SIZE

qwen2.5:7b              xxx GB
nomic-embed-text        xxx MB

---

十四、测试 Ollama API

PowerShell：

curl http://localhost:11434/api/tags

返回：

{
 "models":[
   {
    "name":"qwen2.5:7b"
   }
 ]
}

说明：

Ollama服务正常。

---

十五、创建第一个 ChromaDB + Ollama程序

main.py

import chromadb
import ollama


client = chromadb.PersistentClient(
    path="./chroma_db"
)


collection = client.get_or_create_collection(
    name="my_docs"
)


documents = [
    "Transformer是现代大语言模型的基础。",
    "RAG结合向量数据库增强LLM知识。",
    "Ollama可以本地运行大模型。"
]


for i, doc in enumerate(documents):

    emb = ollama.embed(
        model="nomic-embed-text",
        input=doc
    )


    collection.add(
        ids=[str(i)],
        documents=[doc],
        embeddings=[
            emb["embeddings"][0]
        ]
    )


print("向量数据库创建完成")

运行：

python main.py

生成：

rag-demo
│
├── chroma_db
│    |
│    └── chroma.sqlite3
│
└── main.py

---

十六、推荐安装开发工具

你的情况：

VS Code

安装：

Visual Studio Code official website

插件：

Python
Pylance
Jupyter
GitLens

---

十七、推荐 Python 包管理方式

以后项目：

project
|
├── .venv
|
├── requirements.txt
|
├── src
|
└── README.md

保存依赖：

pip freeze > requirements.txt

重新安装：

pip install -r requirements.txt

---

十八、最佳组合（最终版）

组件	选择
Python	官方 Python 3.11
环境管理	venv
LLM运行	Ollama
聊天模型	Qwen2.5-7B
Embedding	nomic-embed-text
向量库	ChromaDB
RAG框架	LangChain
开发IDE	VS Code
项目语言	Python