缓解大语言模型(LLM)幻觉方法

一、提示工程(Prompt Engineering)方法

1.1 检索增强生成(Retrieval Augmented Generation, RAG)技术

　　利用外部权威知识库来增强LLM的响应,提高输出的准确性和时效性。

1.2 自我优化反馈和推理技术

　　使LLM能够自我纠正和提高可靠性。

1.3 提示微调技术

　　微调提示以提高模型性能。

二、模型开发方法

2.1 引入新的解码策略

　　如Context-Aware Decoding (CAD)、Decoding by Contrasting Layers (DoLa)和Inference-Time Intervention (ITI),以约束模型输出,减少错误信息的生成。

2.2 利用知识图谱

　　提高模型的事实性知识。

2.3 采用基于忠实度的损失函数

　　激励模型生成更加真实可靠的输出。

2.4 监督微调技术

　　提高模型的事实性,如Knowledge Injection、Teacher-Student Approaches和HAR方法。

三、其他方法

3.1 基于自我矛盾检测的自我优化

　　如ChatProtect和Self-Reflection Methodology。

3.2 基于结构化比较推理的方法

　　提高输出的连贯性和减少幻觉。

3.3 利用合成任务进行幻觉缓解

　　如SynTra方法。

3.4 基于高熵词替换的方法

　　利用上下文信息进行替换,减少幻觉。

3.5 自动归因和内容对齐的方法

　　如RARR。

参考论文：https://arxiv.org/pdf/2401.01313v1