Verl 如何增加配置参数？

RL参数配置

当我们运行python -m verl.trainer.main_ppo时，文件的主函数为：

@hydra.main(config_path="config", config_name="_generated_ppo_trainer", version_base=None)
def main(config):
	"""Main entry point for PPO training with Hydra configuration management.
	Args:
	
	config_dict: Hydra configuration dictionary containing training parameters.
	
	"""
	run_ppo(config)

表示默认会到config/_generated_ppo_trainer.yaml文件（完整路径为verl/trainer/config/_generated_ppo_trainer.yaml）中读取配置。

因此，如果我们想要添加参数，例如增加一个actor_rollout_ref.rollout.abc，那么只需要：

1. 把config/_generated_ppo_trainer.yaml复制一份到同目录下，我这里命名为my-config.yaml
2. 在my-config.yaml中的actor_rollout_ref.rollout中添加abc参数，并且设置默认值
3. 添加参数--config-name my-config.yaml，表示从my-config.yaml中传入参数配置

python -m verl.trainer.main_ppo \
	   --config-name my-config.yaml \ 

4. 对于新设定的参数，我们可以通过传入参数修改，也可以在my-config.yaml中配置默认值

python -m verl.trainer.main_ppo \
	   --config-name my-config.yaml \
	   actor_rollout_ref.rollout.abc=1

注意，不要直接修改_generated_ppo_trainer.yaml 文件，这个文件是每次git commit时，从main_ppo.yaml复制的，因此会有被覆盖掉的风险！