FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的一个解决办法

在hive命令中执行一条计算数据条数的sql,错误信息如下:

 

 查看报错信息,可以注意到没有任务进度信息,因此做如下推测:

   任务根本就没有提交到YARN,既然没有提交到YARN,那么问题就很有可能是出现在配置上,而且是yarn的MR相关配置。

为此,修改以下yarn配置(仅供参考):

 

mapreduce.map.memory.mb改为1G

 

mapred-site.xml 的 HDFS 复制高级配置代码段(安全阀)中的mapreduce.map.memory.mb和mapreduce.reduce.memory.mb也调整为1024M(1G)

 

 

 

 


 

限于环境原因无法获取yarn中的application日志,所以具体原因仍未知。

 

 

posted @ 2021-04-22 17:56  梦醒江南·Infinite  阅读(800)  评论(0编辑  收藏  举报