springboot integrates qdrant and ollama engineering configurations

本文内容

Spring boot整合向量数据库和LLaMa3:70b模型访问能力，使本地工程具备RAG、Streaming chatbox交互能力；

1. SpringAI 提供了方便的类LangChain框架；
2. Qdrant 是目前非常Nice的向量数据库，提供了相似度检索的能力；
3. Ollama 提供了LLaMa3便捷的Restful API；

官网直达

https://qdrant.tech/documentation/guides/installation/

Docker pull

docker pull qdrant/qdrant

Docker run

sudo docker run -d -p 6333:6333 -p 6334:6334 -v /home/docker/qdrant/storage:/qdrant/storage:z qdrant/qdrant

开启防火墙配置

firewall-cmd --permanent --add-port=6334/tcp firewall-cmd --reload
firewall-cmd --permanent --add-port=11434/tcp firewall-cmd --reload

工程配置

Github：https://github.com/RayLee1997/ai-ink-time-craft

spring.application.name=ai-ink-time-craft
spring.devtools.restart.exclude="static/**"

spring.ai.vectorstore.qdrant.host=192.168.2.65
spring.ai.vectorstore.qdrant.port=6334
spring.ai.vectorstore.qdrant.collection-name=documents

spring.ai.ollama.base-url=http://192.168.2.65:11434
spring.ai.ollama.embedding.enabled=true
spring.ai.ollama.embedding.options.model=llama3:70b
spring.ai.ollama.embedding.options.num-ctx=8000

顺利启动

小记

1. 6333端口是qdrant http访问端口；
2. 6334端口是qdrant gRPC/TCP访问端口；
3. 注意这个配置spring.ai.ollama.embedding.options.model=llama3:70b，跟官方文档有差异，需要配置成你本地Ollama真实的Model Name；