随笔分类 -  Hadoop

摘要:一、概述 flume是一个高效的、可靠的、可用的分布式海量日志数据收集、聚合、传输的工具。 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and mov 阅读全文
posted @ 2018-06-12 21:47 Supernova-x 阅读(873) 评论(0) 推荐(0)
摘要:【故障背景】NameNode和DataNode进程正常运行,但是网页找不到DataNode,DataNode为空。各个节点机器之间可以ping同主机名。【日志排查】众多日志中找到如下关键点错误信息ERROR org.apache.hadoop.hdfs.server.... 阅读全文
posted @ 2018-06-11 13:37 Supernova-x 阅读(549) 评论(0) 推荐(0)
摘要:【故障背景】 DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空。 /etc/hosts 的ip和hostname配置正常,各个机器之间能够ping通。 【日志错误信息】 2018-06-11 17:29:08,165 INFO org.apache.hadoop.hdfs 阅读全文
posted @ 2018-06-11 11:26 Supernova-x 阅读(2537) 评论(0) 推荐(0)
摘要:【故障背景】8088网页打不开,因8088是yarn平台的端口,所以我从yarn开始排查,首先到各个机器上使用jps命令查看yarn的各个节点是否启动,发现虽然有nodemanager进程,但是主节点机器上的resourcemanager进程未启动,使用yarn-da... 阅读全文
posted @ 2018-06-10 11:57 Supernova-x 阅读(5047) 评论(0) 推荐(0)