随笔分类 -  Hadoop（FAQ）

Eclipse运行Hadoop程序时控制台无法打印进度信息解决办法
摘要：将Hadoop升级到了2.4.0，直接使用Eclipse的Hadoop插件新建了一个MapReduce Project，但是在Eclipse运行Hadoop程序时看不到进度信息，只输出如下内容：log4j:WARN No appenders could be found for logger (or... 阅读全文
posted @ 2015-11-26 17:43 tinylcy 阅读(692) 评论(0) 推荐(0)
Hadoop: No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).解决办法
摘要：在eclipse中运行Hadoop程序时出现如下问题：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please ... 阅读全文
posted @ 2015-07-19 10:03 tinylcy 阅读(2948) 评论(0) 推荐(2)
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...解决办法
摘要：在执行Hadoop命令的时候会出现这样的警告：解决办法：在profile文件中添加：export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native这是在调用Hadoop里的库。具体可以参考www.cnblogs.com/gpcuster/archive/2011... 阅读全文
posted @ 2015-07-18 13:49 tinylcy 阅读(478) 评论(0) 推荐(0)
Hadoop reduce side join using Datajoin
摘要：我是参照《Hadoop in action》完成示例程序。如果是在eclipse下需要将 hadoop-datajoin-xxx.jar 导入工程的Library中。另外新的API已经不再使用mapper，reducer接口，而Datajoin中DataJoinMapperBase，DataJoin... 阅读全文
posted @ 2015-03-23 10:02 tinylcy 阅读(175) 评论(0) 推荐(0)
通过脚本使用Streaming遇到的问题及解决办法
摘要：《Hadoop 实战》中的“通过脚本使用Streaming”其中的一个示例：使用脚本来均匀采样一个按行组织的数据文件，在Ubuntu终端输入如下命令：结果如下：修改命令：输出文件如下： 阅读全文
posted @ 2015-03-17 15:37 tinylcy 阅读(209) 评论(0) 推荐(0)
lsr: Cannot access .: No such file or directory. 解决办法
摘要：今天运行了一段程序：分析专利引用数据集，从专利引用数据集中计算专利被引用的次数在专利局http://data.nber.org/patents/网站下载专利数据作为测试数据，是个251MB的.txt文件...具体原因至今不详，可能是因为我的运行环境是建立在虚拟机之上？在一次运行非正常退出后，输入命令... 阅读全文
posted @ 2015-03-11 19:58 tinylcy 阅读(3166) 评论(0) 推荐(0)
Hadoop读取XML配置文件
摘要：原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：package com.lcy.hadoop.file;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im... 阅读全文
posted @ 2015-03-11 14:43 tinylcy 阅读(2008) 评论(0) 推荐(0)
伪分布式下DataNode无法启动问题
摘要：DataNode无法启动：问题原因：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么... 阅读全文
posted @ 2015-02-28 22:28 tinylcy 阅读(1376) 评论(0) 推荐(0)
InvalidInputException: Input path does not exist 解决办法
摘要：遇到的问题如下：错误原因是HDFS还没有把这个input文件夹加入。敲入命令并查看HDFS：问题解决。 阅读全文
posted @ 2015-02-28 16:26 tinylcy 阅读(3385) 评论(0) 推荐(0)
FileAlreadyExistsException: Output directory output already exists 解决办法
摘要：Hadoop 伪分布式环境时运行wordcount程序，之前已经运行过一次，再次将input文件夹中的内容上传至HDFS时会出现重复，但是还是可以上传成功。但是当再次运行wordcount程序时就会报错：可以看到导致错误的原因时HDFS中的output文件夹已经存在了，所以必须要删除。（因为outo... 阅读全文
posted @ 2015-02-28 15:43 tinylcy 阅读(2440) 评论(0) 推荐(1)