Datawhale AI夏令营-多模态RAG

任务背景：目前多模态信息（财报PDF）的AI利用率较低

我们正处在一个信息爆炸的时代，但这些信息并非以整洁的纯文本形式存在。它们被封装在各种各样的载体中：公司的年度财报、市场研究报告、产品手册、学术论文以及无数的网页。这些载体的共同特点是 图文混排 ——文字、图表、照片、流程图等元素交织在一起，共同承载着完整的信息。

传统的AI技术，如搜索引擎或基于文本的问答系统，在处理这类复杂文档时显得力不从心。它们能很好地理解文字，但对于图表中蕴含的趋势、数据和关系却是“视而不见”的。这就造成了一个巨大的信息鸿沟：AI无法回答那些需要结合视觉内容才能解决的问题，例如“根据这张条形图，哪个产品的市场份额最高？”或“请解释一下这张流程图的工作原理”。

近年来，大语言模型（LLM）的崛起为自然语言理解带来了革命。然而，它们也面临两大挑战：

1. 知识局限性 ：LLM的知识是预训练好的，对于私有的、最新的或特定领域的文档（比如本次比赛的财报）一无所知，并且可能产生幻觉。

2. 模态单一性 ：大多数LLM本身只能处理文本，无法直接“看到”和理解图像。

检索增强生成（RAG） 技术的出现，通过从外部知识库中检索信息来喂给LLM，有效地解决了第一个挑战。而本次比赛的核心—— 多模态检索增强生成（Multimodal RAG） ，则是应对这两大挑战的前沿方案。它赋予了AI系统一双“眼睛”，让他不仅能阅读文字，还能看懂图片，并将两者结合起来进行思考和回答。

 

难点一：多模态信息的有效融合	一个问题的答案可能同时依赖于一段文字描述和一个数据图表。例如，文字提到“各产品线表现见下图”，而具体数据则完全在图表中。 挑战 ：如何让系统理解这种跨模态的指代和依赖关系？如果仅将文本和图像的描述（caption）作为独立的知识块进行检索，可能会丢失它们之间的强关联。检索模块需要足够智能，能够根据一个文本问题，同时召回相关的文本和图像信息。
难点二：检索的准确性与召回率平衡	检索是整个系统的基础，如果检索出的上下文信息就不包含答案，那么后续的LLM再强大也无法凭空生成正确结果（这被称为“大海捞针，针不在海里”）。 挑战 ： 语义模糊性 ：用户提问的方式可能与文档中的措辞差异很大，这对嵌入模型的语义理解能力提出了高要求。 信息干扰 ：如果检索返回的Top-K个结果中，只有1个是相关的，其他K-1个都是噪音，这会严重干扰LLM的判断，可能导致它基于错误信息作答。如何优化检索策略（如使用重排Re-ranking技术）以提高返回结果的信噪比，是一个核心问题。
难点三：答案生成的可控性与溯源精确性	LLM在生成答案时，有时会过度“自由发挥”，产生一些幻觉（Hallucination），即编造上下文中不存在的信息。同时，它也可能错误地引用来源。 挑战 ： 忠实度 ：如何通过设计Prompt，强力约束LLM，使其回答 严格基于 提供的上下文，减少信息捏造。 溯源 ：如何让LLM准确地从多个上下文中，定位到真正提供答案关键信息的那个来源（文件名和页码），并正确地在最终输出中引用。这需要精心设计上下文的格式和给LLM的指令。
难点四：针对性评估指标的优化	最终的评分由三部分构成：文件名匹配度（0.25分）、页面匹配度（0.25分）和答案内容相似度（0.5分）。 挑战 ：这意味着，一个完美的答案文本如果来源错误，得分会很低。反之，一个内容不太完美的答案如果来源准确，也能拿到可观的分数。因此，系统优化不能只关注答案文本的质量，必须将 溯源的准确性 放在同等重要的位置。在方案迭代中，需要建立能够模拟这套评分体系的本地验证集，以准确评估每次改动对最终得分的综合影响。