[学习笔记] LangChain框架

LangChain学习笔记

​ LangChain是一个开源的Python AI应用开发框架，提供了构建基于大模型的AI应用所需的模块和工具。通过LangChain，开发者可以更轻松地实现LLM集成，完成文本生成、问答、翻译、对话等任务

LangChain特性

• LLM和Prompt：LangChain对所有LLM大模型进行了API抽象，统一了大模型访问API，同时提供了Prompt提示模板管理机制
• Chain：LangChain对一些常见的场景封装了一些现成的模块，例如基于上下文信息的问答系统、自然语言生成SQL查询等。因为实现这些任务的过程就像工作流一样，一步步执行，所以叫链Chain
• LCEL：LangChain Expression Language，LangChain新版本的核心特性，用于解决工作流编排问题。通过LCEL表达式，我们可以灵活自定义AI任务处理流程，即自定义链Chain
• RAG：数据增强生成。因为大模型不了解新的信息，无法回答新的问题，所以可以将新的信息导入到大模型中，用于增强大模型生成内容的质量。这种模式叫做RAG模式（Retrieval Augmented Generation）
• Agents：一种基于大模型的应用设计模式，利用大模型的自然语言理解和推理能力，根据用户需求，自动调用外部系统、设备共同去完成任务
• Memory：让大模型记住之前的对话内容，成为模型记忆

LangChain框架组成

​ 新架构图：

​ 老架构图：

LangSmith

​ LangSmith是一个用于调试和优化语言模型驱动应用的工具集，提供深入分析和调试功能，比如：日志记录Logging、性能分析Performance Profiling、错误检测Error Detection

LangServer

​ LangServer是LangChain的服务层组件，负责将语言模型和处理流程部署为可通过API访问的服务

• API Gateway：管理和路由API请求到相应的处理服务
• Service Management：提供服务的启动、停止、监控和管理功能
• Load Balancing：确保高并发请求下的服务稳定和高响应速度

LangChain

​ LangChain是整个框架的主项目，主要包含链Chain、代理Agent和检索策略，有核心库和所有相关组件，是用户进行开发和部署的主要入口

LangChain-Community

​ LangChain-Community是LangChain的社区贡献部分，包含来自社区开发者的插件、扩展和示例代码。这个模块旨在鼓励社区参与和共享，提升LangChain的功能性和可用性

LangChain-Core

​ LangChain-Core是LangChain框架的核心部分，负责提供基础功能和核心逻辑，包含基础抽象和LangChain表达语言

• Model Interfaces：定义与各种LLM交互的标准接口
• Data Processing：提供预处理和后处理数据的工具和函数，如文本清理、分词等
• Pipeline：允许将多个模型和数据处理步骤串联起来，形成一个完整的处理流程
• Tool Integrations：支持与外部工具和库的集成，如数据库、文件系统等

LangChain任务处理流程

​ LangChain提供一套提示词模板（Prompt Template）管理工具，负责处理提示词，然后传递给大模型处理，最后处理大模型返回的结果

​ LangChain对大模型的封装主要包括LLM和Chat Model两种类型

LangChain核心概念

• LLM：问答模型，模型接收一个文本输入，然后返回一个文本结果
• Chat Model：对话模型，接收一组对话消息，然后返回对话消息，类似聊天信息
• Message：指Chat Model的消息内容，消息类型包括HumanMessage、AIMessage、SystemMessage、FunctionMessage和ToolMessage等多种类型的消息
• Prompt：LangChain封装了一组专门用于提示词管理的工具类，方便格式化提示词内容
• Output Parsers：输出解析器。LangChain接受大模型返回的文本内容后，就可以使用专门的输出解析器对文本内容进行格式化，例如解析JSON或者转成python对象
• Retrievers：为方便将私有数据导入LLM，提高模型回答问题的质量，LangChain封装了检索框架Retrievers，用于加载、切割、存储和检索文档数据
• Vector stores：为支持私有数据的语义相似搜索，LangChain支持多种向量数据库
• Agents：智能体Agents，通常指的是以LLM作为决策引擎，根据用户输入的任务，自动调用外部系统、硬件设备共同完成用户的任务，是一种以LLM为核心的应用设计模式