本地eclipse与远程hadoop2.5.2集成

 

条件准备：

 

hadoop-eclipse-plugin-2.5.2.jar

 

hadoop-2.5.2

 

1.拷贝一份linux下已经安装配置好的hadoop-2.5.2文件到windows下

 

2.网上下载hadoop插件hadoop-eclipse-plugin-2.5.2.jar，放在eclipse目录下的plugins下，

 

3.重启eclipse,进入Window——>Preferences_——>Hadoop Map/Reduce，将其目录配置hadoop2.5.2所在路径，如：F:\soft\design\hadoop\hadoop-2.5.2。

 

4.在eclipse中打开mapreduce视图，并配置如下: 

host对应于master主机ip，端口9001和9000是hadoop配置文件下已经配置好的，分别在

mapred-site.xml和core-site.xml中，具体以配置文件为准，配置完毕后就可以编写hadoop相关程序了，如hdfs，mapreduce等。

 

 

问题1.wordcount实例运行报路径找不到

 

查看目录：hadoop fs -ls hdfs://192.168.184.158:9000/

 

配置目录：hdfs://192.168.184.158:9000/input  hdfs://192.168.184.158:9000/output

 

 

 

2.问题：java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

 

下载对应hadoop源代码，hadoop-2.5.5-src.tar.gz解压，hadoop-2.5.2-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project，然后修改public static boolean access(String path, AccessRight desiredAccess)方法返回值为return true

 

 

 

问题3.hadoop读取的文件格式如果是GBK，且内容含有中文，那么map/reduce程序运行出错，

 

解决：将文件格式改成utf-8,问题解决。