verl进行强化学习过程中出现大量内存占用及其缓解方法

前几天在学习使用verl，在尝试对vlm进行grpo训练时发生了CPU OOM。查看内存占用情况，发现训练中内存占用很高并随训练线性增长，可能发生了内存泄漏。

查阅资料后设置了data.val_batch_size

降低了不少内存占用