摘要:
之前的系列文章主要讲解上下文(提示词)和RAG(知识库),为了方便大家归纳,这里把前面的几个重要内容重新梳理总结。 一、搭建应用开发环境 正所谓磨刀不误砍柴工,要想后续顺利进行AI应用编程,务必正确搭建电脑的Python开发环境,这样可以避免代码编译时出现奇奇怪怪的错误,才能心无旁骛地钻研AI应用 阅读全文
之前的系列文章主要讲解上下文(提示词)和RAG(知识库),为了方便大家归纳,这里把前面的几个重要内容重新梳理总结。 一、搭建应用开发环境 正所谓磨刀不误砍柴工,要想后续顺利进行AI应用编程,务必正确搭建电脑的Python开发环境,这样可以避免代码编译时出现奇奇怪怪的错误,才能心无旁骛地钻研AI应用 阅读全文
posted @ 2026-07-12 11:23
aqi00
阅读(340)
评论(0)
推荐(0)
摘要:
上一篇文章介绍了如何从TXT文件读取文本信息,可是日常办公很少使用纯文本的TXT格式,而采用专业的PDF格式或者WORD格式,有时还需要通过网页抓取知识。 接下来就介绍如何从PDF、WORD、HTML等文件中读取文本内容。 一、从PDF文件读取文本 PDF是一种常用的文档格式,常用于只读的通知文件 阅读全文
上一篇文章介绍了如何从TXT文件读取文本信息,可是日常办公很少使用纯文本的TXT格式,而采用专业的PDF格式或者WORD格式,有时还需要通过网页抓取知识。 接下来就介绍如何从PDF、WORD、HTML等文件中读取文本内容。 一、从PDF文件读取文本 PDF是一种常用的文档格式,常用于只读的通知文件 阅读全文
posted @ 2026-07-11 11:20
aqi00
阅读(503)
评论(0)
推荐(0)
摘要:
前面的文章在构建RAG并检索时,既使用了国外大模型,也使用了国内大模型;既运用了内存向量检索库FAISS,也运用了磁盘向量数据库Chroma。 但知识库的原始来源却是knowledge数组,这与现实场合有所出入,因为实际资料都保存在TXT、PDF、WORD等格式的文档中,甚至来自互联网上的HTML网 阅读全文
前面的文章在构建RAG并检索时,既使用了国外大模型,也使用了国内大模型;既运用了内存向量检索库FAISS,也运用了磁盘向量数据库Chroma。 但知识库的原始来源却是knowledge数组,这与现实场合有所出入,因为实际资料都保存在TXT、PDF、WORD等格式的文档中,甚至来自互联网上的HTML网 阅读全文
posted @ 2026-07-05 11:08
aqi00
阅读(369)
评论(0)
推荐(0)
前面两篇文章在演示RAG功能时,做向量化的文本嵌入模型都用国外的all-MiniLM-L6-v2,该模型主要适用英文,对于中文总体也能用,但在细节上处理欠佳。本文就来介绍如何使用国产离线的文本嵌入模型替换国外模型,以及如何体现国产模型的比较优势。 一、all-MiniLM-L6-v2的缺点 虽然al
上一篇文章通过all-MiniLM-L6-v2模型结合FAISS实现了简单的RAG检索功能,但FAISS运行于内存中,无法持久化保存向量数据,重启后又得重新对文本做向量化,比较浪费算力资源。本文就来介绍如何使用向量数据库来持久保存向量数据。 一、向量数据库Chroma Chroma是一个本地向量数
上一篇文章采用字符串匹配的方式来查找知识,这种方式比较呆板不够智能,接下来引入向量数据库,通过向量化实现更精细的知识检索。 一、文本嵌入Embedding模型 向量化一段文本的时候,经常用到all-MiniLM-L6-v2,它是一个轻量级的文本嵌入Embedding模型,专门把文字转成数字向量,给R
前面的文章依次介绍了如何截断历史会话的对话记录,包括按照记录数量截断、按照Token长度截断,以及浓缩为摘要截断等等,其中摘要操作又分为三大类: 1、使用第三方的摘要库对文本摘要; 2、使用在线大模型对文本摘要; 3、使用离线大模型对文本摘要; 以上对会话记录的各种处理操作,统称为AI应用的上下文
上一篇文章末尾使用了在线大模型压缩文本生成摘要,但该方式会消耗Token,不便初学者长期使用,更好的办法是采用离线大模型来生成文本摘要。 一、离线大模型的种类 国内常用的离线大模型有阿里Qwen、智谱GLM、深度求索DeepSeek、百度文心等等,以千问的文本大模型为例,又有Qwen1.5-1.8
HarmonyOS 6.1.1 已于 2026 年 5 月下旬正式发布,该版本在 HarmonyOS 6.1 基础上增强了若干特性,让鸿蒙系统变得更流畅更好用,下面结合《鸿蒙HarmonyOS 6应用开发:从零基础到App上线》一书对 HarmonyOS 6.1.1 新特性中的常用部分逐一讲解。
前面两篇文章分别介绍了根据消息数量截断历史对话和根据Token长度截断历史对话,可是这两种方式有两个共同的问题: 1、被删去的早期记录可能包含关键信息,直接截断会导致信息丢失。 2、原始的对话记录可能存在重复、冗余、拖沓的文字内容。 一、为什么要对原始记录做摘要 要知道,重复、冗余、拖沓的文字内容
浙公网安备 33010602011771号