AReal 简介

先说一下AReal跟llamafactory和rllm的区别

• llamafactory是LLM训练框架，不原生支持训练Agent，同时是先rollout再进行奖励计算，是一个同步的过程
• rllm是Agent训练框架，不原生支持训练LLM，它更像是一个训练前端，会接入一个RL训练后端
• AReal既可以训练LLM也可以训练Agent，同时它是异步算法，rollout和奖励计算是同时干的事情，速度是最快的，而且修改具体算法的话会更方便