随笔分类 - GenAI
摘要：在使用 LangChain 构建大模型应用时，提示词（Prompt）设计是第一步。但直接写死字符串容易出错、复用性差，也不利于维护。这时候就该用上 LangChain 提供的 Prompt Template —— 一个专为语言模型设计的提示词模板工具。 快速上手 无变量，纯字符串模板 import
阅读全文
摘要：在实际开发 AI 应用的过程中，我们经常会遇到重复输入的情况： 同一用户多次询问相同的问题 刷新页面或误触按钮触发了相同请求 不同用户提出了内容高度相似的问题 如果每次都让大模型重新生成响应，不仅效率低下，还会带来不必要的计算成本。为了解决这个问题，我们可以引入“缓存机制”。 启用缓存的好处 提升响
阅读全文
摘要：LoRA 英文全称为 Low-Rank Adaptation，中文：“低秩适配器” 秩的概念 英文 Rank 中文：秩 所谓秩，指的就是一个矩阵中 真正包含的信息量 有多少。 🙋小红买了 3 个苹果 4 个桃子，花了 18 元，小明买了 2 个苹果 3 个桃子，花了 13 元，请问苹果和桃子各多少
阅读全文
摘要：英文：Fine-tuning 中文：大模型微调 大模型的构建其实分为 2 个阶段： 预训练（pre-training）：此阶段模型会在 大规模、多样化的数据集 上进行训练，从而形成全面的语言理解能力。 微调（fine-tuning）：在规模较小的 特定任务或特定领域数据集 上对模型进行 针对性的训练
阅读全文
摘要：RAG架构演进 RAG 的概念和思想最早是在 2020 年由 Meta 公司的技术团队在文章 “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks” 中正式提出的，用于给当时已经开始出现的大型预训练语言模型提供来自外部的
阅读全文
摘要：RAG经典架构： 数据索引 读取外挂语料库的时候，语料库是一个 pdf 文件，需要一个额外的依赖：pdf-parse 转化为向量嵌入：nomic-embed-text function getEmbedding(text) { const res = await fetch("http://loca
阅读全文
摘要：远程通信方式 通信方式： Stdio： 推荐，高效、简洁、本地 Streamable HTTP： 远程 前置知识 SSE 全称 Server-Sent Events，中文是“服务器发送事件”。是一种基于 HTTP 的单向通信协议，由浏览器发起连接，服务器可以持续不断地向客户端推送数据。 你可以把它想
阅读全文
摘要：Prompts MCP 支持 3 种上下文能力： tools：工具 resources：资源 prompts：提示词 在 MCP 中，prompts 表示服务端内置的提示词模板（prompt templates）集合，通过 prompt 模板机制，客户端无需硬编码 prompt，而是复用服务端定义的
阅读全文
摘要：RAG基础知识 基本介绍 RAG，全称 Retrieval-Augmented Generation，中文：检索增强生成 核心思想：为大模型补充来自于外部的相关数据与上下文，从而帮助大模型生成更丰富、更准确、更可靠的内容。 也就是 临时给大模型外挂一个知识库。 解决的问题： 受限于已有知识库，无法快
阅读全文
摘要：有两种形式： 资源列表变化 资源内容变化 资源列表变化 用于监听资源目录是否发生增删改。 工作机制 当服务器上的资源列表发生变化时（例如 resources/list 中的项发生增删），服务器主动发送通知： notifications/resources/list_changed 这个方法名也是固定
阅读全文
摘要：Schema MCP 里面提供了一组 Schema. Schema 由 TypeScript + Zod 定义，制作成 JSON Schema，用于验证协议消息结构。 在 SDK 中，每个 JSON‑RPC 方法（如 resources/list、tools/call）都对应相应的 Zod Sche
阅读全文
摘要：Resources 资源也是 MCP Server 向客户端应用提供信息的一种形式。 例如： File contents（文件内容） 比如本地的 .txt、.md、.js、.json 文件 Database records（数据库记录） 比如 SQL 查询结果或某个表格的内容 Screenshots
阅读全文
摘要：RCT构词法 提示词工程是一门专注于 LLM 输入的学科，主要目的是以尽可能程序化的方式生成理想的输出。 角色（Role） 上下文（Context） 任务（Task） 上下文 在为 LLM 编写输入文本的时候，需要尽可能详细的描述上下文。 常见上下文形式： 提供数据、范例、定义、规则、语境 指明受众
阅读全文
摘要：前面是通过 提示词 的形式，将工具箱带过去。 🙋这种方式有什么问题？ 繁琐：大段大段的提示词，仅仅是为了约束大模型的输出 不标准：每个开发者的提示词的描述千差万别 约束力不高：即便使用了语气最重的提示词，大模型的底层原理决定了它总会有不按照要求回复的情况 为了解决这个问题，OpenAI 出手了，在
阅读全文
摘要：deepseek 开发平台 申请一个 api key 申请 api key 的时候，只有在创建的时候才能看到完整的 key，所以创建的时候一定要妥善保存 有了 api key 后，我们就可以和 deepseek 大模型进行一个交互，这里我们用 curl 命令发送一个 POST 请求 到 DeepSe
阅读全文
摘要：SSE SSE（Server-Sent Events） 是一种浏览器原生支持的、单向的流式通信协议： 服务器 → 客户端 持续不断推送数据（比如：消息、token、进度） 它基于 HTTP 协议，使用 MIME 类型 text/event-stream。 核心特性 单向通信：只能从服务端推送到客户端
阅读全文
摘要：嵌入（Embedding），这是一种寻找词和词之间相似性的 NLP 技术，它把词汇各个维度上的特征用数值向量进行表示，利用这些维度上特征的相似程度，就可以判断出哪些词和哪些词语义更加接近。 对文本进行嵌入操作：会生出向量的表示形式 对文本进行向量化操作：和上面一个意思 基本概念 举个例子：假设有这么
阅读全文
摘要：AI编码提效工具： 插件型（Copilot） 编辑器类型（Cursor） 插件型AI编码工具 工具名称 平台支持 主要功能 GitHub Copilot VSCode / JetBrains / Neovim 补全、生成、注释 Tabnine 多平台 局部补全、本地私有部署 Amazon CodeW
阅读全文
摘要：Auto-Run模式 早期的 Agent 模式， 会根据你的提示，判断是否需要执行命令，如果需要执行命令，会提示你确认。 之后 Cursor 推出了 Auto-Run 模式，则是更往前走了一步。Agent 将无需确认就能执行命令和文件操作，朝着"全自动驾驶"又迈进了一步。开启 Auto-run 模式
阅读全文
摘要：官方描述： Craft and share context between chat and composers 在聊天和代码编辑器之间构建并共享上下文。 Notepad：笔记本，你可以在笔记本里面记录一些内容，供 AI 作为参考信息。 首先在资源管理器需要开启 Notepads，如下图： 笔记内容
阅读全文
浙公网安备 33010602011771号