2021年3月6日
Hadoop 入门的两道面试题
摘要： 一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9820 Yarn 查看任务运行情况的端口：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：802 阅读全文
posted @ 2021-03-06 17:44 莳曳 阅读(102) 评论(0) 推荐(0)
Hadoop 一键启动停止集群和查看节点服务运行情况的脚本配置
摘要： centos7 启动停止集群脚本 配置完成后 启动集群命令：myhadoop.sh start 关闭集群命令：myhadoop.sh stop 单节点启动命令（以启动datanode为例）：hdfs --daemon start datanode 在 /home/用户名/bin 中新建文件 myha 阅读全文
posted @ 2021-03-06 17:34 莳曳 阅读(1002) 评论(0) 推荐(0)
Hadoop 日志聚集功能配置
摘要： 增加以下内容到 yarn-site.sh 中 <!-- 以下为日志聚集功能配置 --> <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 阅读全文
posted @ 2021-03-06 16:38 莳曳 阅读(61) 评论(0) 推荐(0)
Hadoop 执行 wordcount 出错 exit code 127 可能问题解决
摘要： 题面： 启动集群正常 运行 wordcount 脚本时出现错误如下： 2021-03-06 10:46:36,826 INFO mapreduce.Job: map 0% reduce 0% 2021-03-06 10:46:36,845 INFO mapreduce.Job: Job job_16 阅读全文
posted @ 2021-03-06 12:20 莳曳 阅读(3028) 评论(2) 推荐(0)