摘要: 基本概念 RAG(检索增强生成,Retrieval-Augmented Generation)是通过外挂知识库,让大模型具备垂类知识的一种技术,扩展知识边界,并避免“幻觉”问题。 主要步骤有: 预处理(蓝线部分):将数据通过分词器切分为片段,然后通过嵌入模型转换为向量,存储到向量数据库中 检索(红线 阅读全文
posted @ 2025-08-17 18:05 Miaops 阅读(61) 评论(0) 推荐(0)
摘要: 基本概念 MCP 让模型可以调用远程或本地的各种工具与资源,如果模型是大脑,MCP 则赋予了大脑手脚,使它可以与外界世界进行交互。 MCP协议指定了两种传输类型: HTTP:客户端请求一个 SSE 通道来接收来自服务器的事件,然后通过 HTTP POST 请求发送命令。 stdio:客户端可以将 M 阅读全文
posted @ 2025-08-17 18:05 Miaops 阅读(195) 评论(0) 推荐(0)
摘要: 基本概念 嵌入模型(向量模型):数据和用户请求通过嵌入模型转换为向量 向量数据库:数据向量存储在向量数据库中 相似度查询:用户请求也转换为向量,和向量数据库中的向量进行匹配,根据相似度高低返回结果 配置通义向量模型 获取模型 模型名称为:text-embedding-v3 配置模型 和配置聊天模型一 阅读全文
posted @ 2025-08-17 18:04 Miaops 阅读(133) 评论(0) 推荐(0)
摘要: 基本概念 大模型本身不调用工具,而是决策使用哪个工具。 工具调用一般会有两轮对话,以调用工具计算两数之和为例: 定义工具: 我们将手动创建一个 ToolSpecification 来描述一个名为 calculator 的工具,它有一个 add 方法。 首次请求: 用户提问 "What is the 阅读全文
posted @ 2025-08-17 18:04 Miaops 阅读(84) 评论(0) 推荐(0)
摘要: 消息类型 消息类型 说明 SystemMessage【人设】 系统提示词,一次只能保留一条,添加后始终保留 UserMessage【用户消息】 用户消息,代表用户输入 AiMessage【大模型回复】 AI 消息,代表模型的回应 ToolExecutionResultMessage【工具调用】 工具 阅读全文
posted @ 2025-08-17 18:04 Miaops 阅读(95) 评论(0) 推荐(0)
摘要: 参考文档:聊天记忆 聊天记忆含义 LangChain4j 提供的聊天记忆的抽象容器,用于简化手动维护和管理聊天消息的繁琐工作。 记忆 vs 历史的区别: - 历史:保持用户和AI之间所有消息的完整记录,是用户在UI中看到的实际对话内容 - 记忆:保存部分信息呈现给LLM,使其表现得"记住"对话,可以 阅读全文
posted @ 2025-08-17 18:03 Miaops 阅读(114) 评论(0) 推荐(0)
摘要: 流式输出 参考文档: 响应流式输出 AI Services Flux 前置准备 导入响应式编程依赖包: <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-reactor</artifactId> <vers 阅读全文
posted @ 2025-08-17 18:03 Miaops 阅读(194) 评论(0) 推荐(0)
摘要: 模型开发和常规开发层级对比 Prompt:好比UI层,进行用户交互 Langchain4j, Spring AI:好比Controller,调用AI大模型 各类AI大模型:好比Service,提供人工智能服务 向量数据库:好比Mapper,进行数据存储 大模型调用三件套 导入依赖 导入 Lancha 阅读全文
posted @ 2025-08-17 18:03 Miaops 阅读(357) 评论(0) 推荐(0)