【AI】Langchain框架学习11

• 了解ollama平台
  · 一个开源的大模型服务平台
  · 安装之后，可以直接使用开源的大模型
  · 好处是，不用为API token付费了
  · 缺点在于，要好的显存，最低的ds-r1模型都要1.1GB，一般来说推理需要的内存是2倍，微调需要3倍。
  · 相当于把大模型部署到本地了

• langchain里面有专门使用ollama的组件：chatOllama，OllamaEmbeddings

# 调用ds模型
from langchain_community.chat_models import Chatollama
llm = Chatollama(
    model="deepseek-r1:1.5b",
    base_url="http://localhost:11434")
)
llm.invoke（"你是谁？能帮我解决什么问题？"）

# 向量化模型
from langchain_ollama import OllamaEmbeddings
embedding_model = OllamaEmbeddings(
    model="nomic-embed-text", 
    base_url="http://localhost:11434"
)
embedding = embedding_model.embed_query("你好")
print(len(embedding))

当然，也可以使用chatOpenAI组件，因为Ollama也兼容openai接口协议

from langchain_openai import ChatOpenAI
# 注意2点，base_url要求有v1（是openai协议要求的）；openai_api_key参数也是必须的，如果使用ollama，这里随便填写即可
llm = ChatOpenAI(
    model="deepseek-r1:1.5b",
    base_url="http://localhost:11434/v1",
    openai_api_key="123"
)
llm.invoke("你是谁？能帮我解决什么问题？")