Flow-DPO通过在线多Agent学习提升LLM的数学推理能力

‌Flow-DPO‌是一种通过在线多智能体学习来提升LLM（大型语言模型）数学推理能力的新方法。Flow-DPO结合了在线学习流（Flow）和直接偏好优化（DPO），通过两个独立的语言模型互相协作，纠正对方的错误，从而生成更加准确和详细的推理轨迹‌12。

工作原理

Flow-DPO的核心在于构建两个独立的LLM模型，即AnswerLLM和StopLLM。AnswerLLM逐步生成答案的各个部分，而StopLLM则评估当前回答的完整性，并决定是否需要继续生成答案。当AnswerLLM生成一个片段后，StopLLM会根据已有的内容给予反馈，指导模型进行进一步改进。这种即时反馈机制使得两个模型可以在迭代中不断优化解题过程，实现更高的准确率‌34。

应用实例

以一道典型的数学题为例，Flow-DPO生成的回答以更加清晰的逻辑推理，逐步解释了相关概念和步骤，不仅得出了答案，还让读者能轻松理解背后的数学原理。这表明Flow-DPO在问题解答的准确性和可读性上表现出色，极大提升了用户的学习体验‌3。

实验结果

为了验证Flow-DPO的有效性，研究团队在MetaMath数据集上进行了多轮实验。结果显示，使用Flow-DPO后，Llama-3-8B模型在数学推理上的准确率提升了20%，而在更复杂的Phi-3-medium-128k模型中，准确率也提高了4个百分点，表现出显著的改进‌34。