参考:https://blog.csdn.net/qq_40059532/article/details/103416631

参考:https://blog.csdn.net/songhaifengshuaige/article/details/79575308

 

记录问题:1、hadoop环境变量在系统变量里才生效,我放在用户变量里不生效。

2、这个页面没有创建和删除的权限, 可通过hadoop fs -chmod -R 777 /  来设置权限。  

 

 

 

3、运行mapreduce实例时,报:

MAPREDUCE运行报DOES NOT CONTAIN A VALID HOST:PORT AUTHORITY: 

原因: 我的计算机全名中有特殊字符,造成解析失败。 另外:xml配置时, key和value不要有空格。

 

4、运行mapreduce实例时, 任务does not exist.

原因:yarn-site.xml 需要加聚合配置。 参考:

https://stackoverflow.com/questions/66318101/yarn-logs-disappear-immediately-after-the-application-is-finished

https://blog.csdn.net/qq_43688472/article/details/85251008

我在yarn-site中加了 

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>

 

5、当遇到job错误时,可以打开job,查看错误再解决

yarn logs -applicationId application_xxx命令,可以查看yarn执行任务的logs。 其中application_xxx是任务的编号

 

6、hadoop无法启动 INFO ipc.Client: Retrying connect to server

 原因: 先关闭防火墙吧。

posted on 2021-11-23 13:38  毛会懂  阅读(38)  评论(0编辑  收藏  举报