牛津大学开发新方法，检测大语言模型幻觉

牛津大学开发新方法，检测大语言模型幻觉
🚀 标题: Detecting Hallucinations in Large Language Models Using Semantic Entropy

🏫 团队: 牛津大学

🌐 来源: Nature, 2405.19648

🛎️ 文章简介

🔺背景: 大语言模型（LLMs），如ChatGPT和Gemini，虽然在推理和问答方面表现出色，但也常常生成错误的、不可靠的内容，这种现象被称为“幻觉”。幻觉问题在法律、新闻甚至医学等领域可能导致严重后果。因此，可靠地检测和避免这些幻觉是当前研究的关键。

📝贡献: 本文提出了一种基于统计学的创新方法，通过语义熵来检测LLM生成内容中的幻觉。这种方法不仅在词序层面进行分析，更在语义层面上估计不确定性。研究者通过对多个输出的变化量（熵）进行测量，判断模型是否对答案的实际含义存在不确定。这种方法无需先验知识，对不同数据集和任务具有良好的泛化能力。

具体来说，研究团队对多个模型（包括GPT-4、LLaMA 2）和各种问答数据集进行了测试，发现该方法在检测错误回答方面显著优于现有方法。研究结果表明，语义熵可以有效识别短文传记中的错误陈述，并在医学诊断等关键领域提高模型的可靠性。

🔑 关键步骤:

1. 生成: 从给定上下文x的预测分布中抽样输出序列。
2. 聚类: 使用基于双向蕴涵的聚类算法按其含义对序列进行聚类。
3. 熵估计: 通过对共享含义的序列的概率求和并计算其熵来估计语义熵。

💡 结论: 该研究展示了语义熵在提高LLM可靠性方面的潜力，尤其是在需要高精度的场景中。虽然该方法相较于直接生成答案会增加计算成本，但在保证准确性的情况下，这些成本是值得的。研究团队建议，在使用LLM时，应结合语义熵来判断答案的可靠性，避免因幻觉导致的错误应用。
🔍 个人观点
本文的创新之处在于其从语义层面进行不确定性评估，这为检测LLM幻觉提供了一种新颖且有效的方法。尽管该方法在计算上稍显复杂，但其在实际应用中的可靠性提升是显而易见的，尤其在高风险领域如医学和法律中更显重要。

 

 

基于统计学的语义熵方法检测LLM生成内容中的幻觉，其操作步骤如下：

1. 生成多个答案

对于同一个输入问题，让LLM生成多个可能的答案。例如，对于问题“埃菲尔铁塔在哪里？”，LLM可能会生成“巴黎”“法国首都巴黎”“它位于巴黎”等多个答案。

2. 语义聚类

使用自然语言推理（NLI）工具或双向蕴含关系，将这些答案根据语义等价性进行聚类。如果两个答案在语义上是等价的，即一个答案的含义包含另一个答案，或者它们表达的是相同的意思，则将它们归为同一类。

3. 计算语义熵

根据聚类后的语义等价群组，计算每个群组的概率分布，进而估算生成文本的语义熵。具体方法是：

• 离散语义熵：统计每个语义等价群组的频率，将其视为概率分布，然后计算熵。
• 连续语义熵：如果能够获得模型输出的概率，则可以直接计算每个答案的概率分布，再计算熵。

4. 判断不确定性

通过计算得到的语义熵值来判断LLM对答案的实际含义是否存在不确定性。高语义熵表示模型对生成内容存在较高的不确定性，可能产生幻觉。

5. 验证与优化

为了验证语义熵方法的准确性，可以引入额外的LLM或人工标注数据进行对比分析。此外，还可以对长文本生成或多轮对话中的幻觉进行检测，通过将生成的长答案分解为事实陈述，对每个事实陈述分别计算语义熵。

这种方法无需先验知识，对不同数据集和任务具有良好的泛化能力。