使用本地ollama 部署的模型,不需要token,使用ollama及第三方向量模型

1.使用本地ollama 部署的模型,不需要token
2.使用ollama下载的向量模型
3.使用本地从网上下载的嵌入模型

# 需要下载:uv add langchain-huggingface sentence-transformers langchain-ollama
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_ollama import ChatOllama

# 1.使用本地ollama 部署的模型,不需要token
llm = ChatOllama(
    model="deepseek-r1:1.5b",
)
#result = llm.invoke("纸巾如何分辨好坏?")
#print(result.content)

2.使用ollama下载的向量模型

# from langchain_ollama import OllamaEmbeddings
#
# emb = OllamaEmbeddings(
#       model="nomic-embed-text",
#       base_url="http://127.0.0.1:11434" )
#
# vec = emb.embed_query("search_query:测试")
# print("vec:",vec)

2.使用本地从网上下载的嵌入模型

embeddings = HuggingFaceEmbeddings(model_name=r"D:\LLM\Local_model\models\BAAI\bge-small-zh-v1.5")

query_embedding = embeddings.embed_query("什么是Embeddings句子嵌入?")
doc_embeddings = embeddings.embed_documents(
    [
        "LangChain提供了一个标准的Embeddings接口。",
    ]
)
print("Query embedding:", query_embedding)
print("Document embeddings:", doc_embeddings)
posted @ 2026-08-03 17:11  大树2  阅读(9)  评论(0)    收藏  举报