多 Aspect Embedding:将上下文信号编入向量相似性计算的检索架构
向量数据库的核心任务是对文本或其他非结构化数据生成的 Embedding 做相似性搜索。时间戳、文档类型、所有权一类的上下文约束,一般以外部过滤器的形式在向量搜索前后进行。多数场景下这一架构运作正常,但当上下文信号需要参与排序就会有问题。本文分析传统向量数据库架构的过滤与检索机制,并介绍 Aspected 的 Aspect Database:一个面向 AI 系统的上下文感知检索引擎,将上下文属性经由多 Aspect Embedding 直接编码进相似性计算所用的表示中。
向量搜索中的上下文挑战
向量数据库已经AI 系统的基础设施层。语义搜索、检索增强生成(RAG)、推荐系统、相似性检测,都依赖它来完成核心检索环节。文档以向量 Embedding 的形式存储,检索则在这些 Embedding 上执行近似最近邻(ANN)搜索。
但现实中的检索几乎不会只看语义相似性。系统往往需要处理带有上下文约束的查询:来自特定部门的相似文件、某个时间区间内与某概念相关的文档、具有特定密级或分类级别的文档。
传统搜索引擎用结合了结构化条件和文本相关性的查询语言来解决这类问题。到了向量搜索体系中,上下文约束与相似性搜索的整合就没那么直接了。
向量检索中从过滤器到特征的转变
多数向量数据库把上下文属性当作过滤器,而非相似性计算的组成部分。相似性搜索负责度量语义距离,过滤器负责按元数据裁剪候选集,二者各行其道。另一种思路是把上下文信号纳入相似性空间本身,让它们直接参与 ANN 搜索的向量距离计算,而不是在搜索结束后才发挥作用。
Aspect Database 正是基于这一思路构建的检索引擎,文档不再只有一个文本派生的 Embedding,而是通过多个向量化的 Aspect(即上下文属性)来表示,相似性搜索可在内容维度与上下文维度上一并进行。
https://avoid.overfit.cn/post/b7adbcf46072453d96dade711e1be514

浙公网安备 33010602011771号