大叔经验分享(47)yarn开启日志归集
yarn开启日志归集功能,除了配置之外
yarn.log-aggregation-enable=true
还要检查/tmp/logs目录是否存在以及权限,尤其是在开启kerberos之后,有些目录可能不能自动创建成功,需要手工创建:
$ hdfs dfs -mkdir /tmp
$ hdfs dfs -chmod 777 /tmp
每个应用的hdfs日志目录:
/tmp/logs/$user/logs/$applicationId
如果上述日志目录存在但是还是查不出来
Log aggregation has not completed or is not enabled.
可能是因为用户权限,可以切换到对应的用户再查询
# sudo -u $user yarn logs -applicationid=$applicationId
---------------------------------------------------------------- 结束啦,我是大魔王先生的分割线 :) ----------------------------------------------------------------
- 由于大魔王先生能力有限,文中可能存在错误,欢迎指正、补充!
- 感谢您的阅读,如果文章对您有用,那么请为大魔王先生轻轻点个赞,ありがとう