摘要: 错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID 阅读全文
posted @ 2016-10-08 23:44 刘超★ljc 阅读(1043) 评论(0) 推荐(0) 编辑
摘要: 报如错误:JAVA_HOME is not set and could not be found,可能是因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误,解决方法是显示地重新声明一遍JAVA_HOME 1、检查JAVA_HOM 阅读全文
posted @ 2016-10-08 23:43 刘超★ljc 阅读(63243) 评论(4) 推荐(4) 编辑
摘要: 错误: 14/04/29 02:45:07 INFO mapreduce.Job: Job job_1398704073313_0021 failed with state FAILED due to: Application application_1398704073313_0021 faile 阅读全文
posted @ 2016-10-08 23:40 刘超★ljc 阅读(3534) 评论(0) 推荐(0) 编辑
摘要: 错误: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for 原因: 两种可能,hadoop.tmp.dir或者data目录存储空间不足 解决办法: 看了 阅读全文
posted @ 2016-10-08 23:39 刘超★ljc 阅读(2920) 评论(0) 推荐(0) 编辑
摘要: 错误: org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt 原因: 错误很明显,磁盘空间不足,但郁闷的是,进各节点查看,磁盘空间使用不到40%,还有很多空间。 郁闷很长时间才发现,原来有个map任务运行时 阅读全文
posted @ 2016-10-08 23:37 刘超★ljc 阅读(3922) 评论(0) 推荐(0) 编辑
摘要: 错误: org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed 错误原因: 本地磁盘空间不足非hdfs (我是在myeclipse中调试程序,本地tmp目录占满) 解 阅读全文
posted @ 2016-10-08 23:36 刘超★ljc 阅读(786) 评论(0) 推荐(0) 编辑
摘要: 报如下错误 解决方法: 方法一:(结果不起作用) 通过Shell命令方式,hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1(注意,这种方式本来是在手动故障恢复中进行强制切换NameNode的做法) 返回结果,不支持,并且诚 阅读全文
posted @ 2016-10-08 23:35 刘超★ljc 阅读(4031) 评论(0) 推荐(0) 编辑
摘要: 错误: java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try 原因: 无法写入;我的环境中 阅读全文
posted @ 2016-10-08 23:30 刘超★ljc 阅读(2979) 评论(0) 推荐(0) 编辑
摘要: 报如下错误: 解决方法: 1、增加调试信息 在HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息 2、再执行一次操作,看看报什么错误 上面信息显示,需要2.14的glibc库 解决方法: 1、查看系统的libc版本(ll /lib64/libc.so.6) 显 阅读全文
posted @ 2016-10-08 23:28 刘超★ljc 阅读(6281) 评论(0) 推荐(0) 编辑
摘要: 1、错误 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed2、原因 本地磁盘空间不足非h 阅读全文
posted @ 2016-10-08 23:19 刘超★ljc 阅读(1491) 评论(0) 推荐(0) 编辑
摘要: 错误: FATAL org.apache.hadoop.hdfs.server.namenode.NameNode Exception in namenode join java.io.IOException There appears to be a gap in the edit log 原因: 阅读全文
posted @ 2016-10-08 23:17 刘超★ljc 阅读(2796) 评论(0) 推荐(0) 编辑
摘要: 解决方法: 1、通过lsof -i:50070(lsof可以通过yum install lsof安装)查看,发现是mysql被占用了 2、修改mysql端口 从/usr/share/mysql/my-default.cnf复制成/etc/my.cnf文件;修改/etc/my.cnf文件,如下 如果, 阅读全文
posted @ 2016-10-08 23:15 刘超★ljc 阅读(4328) 评论(0) 推荐(0) 编辑
摘要: 原因: Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法: 这个可以忽略,或者使用 https://issues.apache.org/jira/brows 阅读全文
posted @ 2016-10-08 23:11 刘超★ljc 阅读(2204) 评论(0) 推荐(0) 编辑
摘要: 错误: DataXceiver error processing WRITE_BLOCK operation 原因: 文件操作超租期,实际上就是data stream操作过程中文件被删掉了。 解决办法: 修改hdfs-site.xml (针对2.x版本,1.x版本属性名应该是:dfs.datanod 阅读全文
posted @ 2016-10-08 23:09 刘超★ljc 阅读(2048) 评论(0) 推荐(0) 编辑
摘要: 错误: 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live node 阅读全文
posted @ 2016-10-08 23:08 刘超★ljc 阅读(2787) 评论(0) 推荐(0) 编辑
摘要: 报如下错误 解决方法: 1、下载libsnappy.so.1(https://yunpan.cn/cSHRHTBJGVVX6 访问密码 c992) 2、上传到linux系统 3、安装 4、安装完成后,再去检查,效果如下 如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。 如果,您希 阅读全文
posted @ 2016-10-08 23:05 刘超★ljc 阅读(1607) 评论(0) 推荐(0) 编辑
摘要: 报如下错误 解决方法: 1、使用hadoop checknative –a命令检查,报如下错误 2、使用如下命令建立libcrypto.so文件的符号链接 如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。 如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。 如果 阅读全文
posted @ 2016-10-08 23:02 刘超★ljc 阅读(2758) 评论(0) 推荐(0) 编辑