Flink提交报错:root is not a leaf queue
最近团队将Hadoop升级到3.4.0后,发现提交flink任务失败,报错为 root is not a leaf queue,如下图所示

经过资料查询,得知yarn中非叶子队列不能提交任务,因此需要指定叶子队列提交任务。
但是通过yarn queue -list root 发现root队列没有子队列,因此怀疑hadoop升级后,yarn的queue配置存在问题,检查yarn-site.yml发现资源调度策略为 FairScheduler

但是在yarn的配置中缺少fair-scheduler.xml文件,因此需要添加上,并配置root的子队列

如上所示,配置完成后,重启yarn,执行yarn queue -list root检查子队列是否配置成功

在resourcemanager页面检查子队列是否配置成功

在flink提交任务时,指定队列。修改flink-conf.yaml文件,增加配置 yarn.application.queue配置,指定提交任务时为root.default队列

至此,任务提交成功

本文来自博客园,作者:蓬莱寒剑,转载请注明原文链接:https://www.cnblogs.com/jhans/p/18916731

浙公网安备 33010602011771号