随笔分类 -  Hadoop2.x

win10+eclipse+hadoop2.7.2+maven+local模式直接通过Run as Java Application运行wordcount
摘要：一、准备工作 （1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在 （2）安装maven 二、最终效果 在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux 阅读全文
posted @ 2016-08-05 01:01 YouxiBug 阅读(1815) 评论(0) 推荐(0)
Hadoop中RPC协议小例子报错java.lang.reflect.UndeclaredThrowableException解决方法
摘要：最近在学习传智播客吴超老师的Hadoop视频，里面他在讲解RPC通信原理的过程中给了一个RPC的小例子，但是自己编写的过程中遇到一个小错误，整理如下： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metri 阅读全文
posted @ 2016-08-03 00:32 YouxiBug 阅读(4405) 评论(0) 推荐(0)
DataNode启动不成功——java.net.BindException: Port in use: localhost:0 Caused by: java.net.BindException: Cannot assign requested address解决办法
摘要：爱折腾的人总是会出线各种奇怪的问题。记得之前听一位大师讲过，我们不能踩完前进路上的所有坑前进，而应该学会怎样避开前进路上的坑，踩得坑越多，可能你的经验越丰富，但是付出的时间代价可能不是经验能换来的。我很认同这句话，但是我们学习过程中难免会踩各种各样的坑，今天这个小小的坑，让我在坑里从上午10:00， 阅读全文
posted @ 2016-07-29 11:36 YouxiBug 阅读(10109) 评论(3) 推荐(1)
hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002
摘要：一、抛出问题 Hadoop集群（全分布式）配置好后，运行wordcount程序测试，发现每次运行都会卡住在Running job处，然后程序就呈现出卡死的状态。 wordcount运行命令：[hadoop@master hadoop-2.7.2]$ /opt/module/hadoop-2.7.2/ 阅读全文
posted @ 2016-07-27 16:09 YouxiBug 阅读(14977) 评论(2) 推荐(1)
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net解决办法
摘要：自己安装好Hadoop2.7.x之后，发现dfs中的/bin/hadoop fs -put命令不能够使用，报错如下： [hadoop@master bin]$ ./hadoop fs -put ../logs/123 /wc/mytemp16/07/27 01:29:26 INFO hdfs.DFS 阅读全文
posted @ 2016-07-27 13:52 YouxiBug 阅读(4167) 评论(0) 推荐(0)
Hadoop2.7.x中所有的DataNode都启动不了解决办法
摘要：参考：Hadoop集群所有的DataNode都启动不了解决办法说明现象：我自己出现这个问题的原因是：自己在namenode格式化之后创建了一些文件，然后重新执行了namenode格式化导致的。 现象就是./sbin/start-dfs.sh 之后，通过jps查看master的namenode、sec 阅读全文
posted @ 2016-07-27 11:55 YouxiBug 阅读(2130) 评论(0) 推荐(0)
菩提树下的杨过.Net 的《hadoop 2.6全分布安装》补充版
摘要：对菩提树下的杨过.Net的这篇博客《hadoop 2.6全分布安装》，我真是佩服的五体投地，我第一次见过教程能写的这么言简意赅，但是又能比较准确表述每一步做法的，这篇博客主要就是在他的基础上自己遇到的一些问题或者疑惑的罗列或者总结，方便自己使用或者其他人参考。 1、在他博客的第1.2小节修改host 阅读全文
posted @ 2016-07-26 15:55 YouxiBug 阅读(385) 评论(0) 推荐(0)
master: Error: JAVA_HOME is not set and could not be found.问题解决
摘要：在保证你的JAVA_HOME配置无误的前提下，一般是由于在hadoop-env.sh中JAVA_HOME使用了相对路径，此处换成绝对路径就OK了 阅读全文
posted @ 2016-07-26 15:08 YouxiBug 阅读(1169) 评论(0) 推荐(0)