从检索到回答:RAG 流水线中三个被忽视的故障点
RAG 流水线部署完毕、检索正常运行、LLM 按部就班地生成回答、用户也在持续收到响应,这一切看上去运转良好。但有一个问题大多数工程师从来不问:这些回答真的对吗?
不是"系统是否返回了响应",而是"响应的内容是否正确"。
如果答案是"上线前测过"或者"余弦相似度分数没问题",那么一个静默故障问题大概率正在生产环境中发生。
https://avoid.overfit.cn/post/025fd5bcccb94e24a676fb639bbffafa
RAG 流水线部署完毕、检索正常运行、LLM 按部就班地生成回答、用户也在持续收到响应,这一切看上去运转良好。但有一个问题大多数工程师从来不问:这些回答真的对吗?
不是"系统是否返回了响应",而是"响应的内容是否正确"。
如果答案是"上线前测过"或者"余弦相似度分数没问题",那么一个静默故障问题大概率正在生产环境中发生。
https://avoid.overfit.cn/post/025fd5bcccb94e24a676fb639bbffafa