随笔分类 - Hadoop
摘要:一、概述 flume是一个高效的、可靠的、可用的分布式海量日志数据收集、聚合、传输的工具。 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and mov
阅读全文
摘要:【故障背景】NameNode和DataNode进程正常运行,但是网页找不到DataNode,DataNode为空。各个节点机器之间可以ping同主机名。【日志排查】众多日志中找到如下关键点错误信息ERROR org.apache.hadoop.hdfs.server....
阅读全文
摘要:【故障背景】 DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空。 /etc/hosts 的ip和hostname配置正常,各个机器之间能够ping通。 【日志错误信息】 2018-06-11 17:29:08,165 INFO org.apache.hadoop.hdfs
阅读全文
摘要:【故障背景】8088网页打不开,因8088是yarn平台的端口,所以我从yarn开始排查,首先到各个机器上使用jps命令查看yarn的各个节点是否启动,发现虽然有nodemanager进程,但是主节点机器上的resourcemanager进程未启动,使用yarn-da...
阅读全文

浙公网安备 33010602011771号