摘要：
第一种方式：同步到网络时间服务器 # ntpdate time.windows.com将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab： 30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8 阅读全文
posted @ 2017-05-23 21:56
一心行走
阅读(624)
评论(0)
推荐(0)
摘要：
1、运行mr程序出错 connecting to resoucemanager retrying .... retrying ..... 原因是没有启动yarn或者启动失败 2、初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录 而datanode 阅读全文
posted @ 2017-05-23 21:52
一心行走
阅读(360)
评论(0)
推荐(0)
摘要：
Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar在jdk的安装目录中提供了，所以改成如下形式解决此问题：添加依赖 阅读全文
posted @ 2017-05-23 21:47
一心行走
阅读(1695)
评论(0)
推荐(0)
摘要：
HDFS冗余数据块的自动删除 在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的 阅读全文
posted @ 2017-05-23 21:43
一心行走
阅读(477)
评论(0)
推荐(0)
摘要：
windows上先调试该程序，然后再转到linux下。 程序运行的过程中， 报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executabl 阅读全文
posted @ 2017-05-23 21:38
一心行走
阅读(261)
评论(0)
推荐(0)
摘要：
hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里： a、在服务器的终端命令行使用jps查看相关进程 （namenode1个节点 datanode3个节点 阅读全文
posted @ 2017-05-23 21:31
一心行走
阅读(705)
评论(0)
推荐(0)
摘要：
datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * 阅读全文
posted @ 2017-05-23 21:24
一心行走
阅读(1364)
评论(0)
推荐(0)
浙公网安备 33010602011771号