hadoop部署使用问题及解决

在cygwin环境中填写路径信息时务必注意将“\”替换为“/”。

hadoop文件夹名称不能包含“-”，比如“hadoop-2.4.0”会出错。

在cygwin环境中尽管“C:\abc”和“/cygdrive/c/abc”都可以被正确识别，但某些软件会将前者识别为相对路径，从而出现错误。所以请尽可能按后一种方式配置路径。

 

>> 找不到或无法加载主类 org.apache.hadoop.util.RunJar

在 Cygwin环境中，通过hadoop执行Jar包时会提示如下错误信息：

错误: 找不到或无法加载主类 org.apache.hadoop.util.RunJar

问题分析：原因是因为hadoop的CLASSPATH没有被正确设置。

解决办法：在~/.bashrc 文件中增加如下命令：

export HADOOP_CLASSPATH=$(cygpath -pw $(HADOOP_PATH classpath)):$HADOOP_CLASSPATH

注意，上面命令行中的“HADOOP_PATH”请替换成真实的可执行hadoop文件的路径。（如：/cygdrive/e/hadoop/bin/hadoop）

参见：http://stackoverflow.com/questions/19363402/classpath-issue-in-hadoop-on-cygwin-while-running-hadoop-version-command

>> Failed to locate the winutils binary in the hadoop binary path

Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1（可以从Install Instructions中直接下载ISO安装包）:
http://www.microsoft.com/en-us/download/details.aspx?id=3138

Microsoft Windows SDK for Windows 7 and .NET Framework 4（可以从Install Instructions中直接下载ISO安装包）:
http://www.microsoft.com/en-us/download/details.aspx?id=8279

参见：http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

 

>> Unable to load native-hadoop library for your platform

解决办法：在Windows环境变量Path中增加“%HADOOP_HOME%\bin”

通常，在修改环境变量Path后，即使重新连接SSH，修改后的环境变量也不会生效。此时可重启Windows服务“CYGWIN sshd”或重启操作系统。

>> 如何设置s3文件系统的Region/Endpoint信息

在项目源代码根路径添加文件：jets3t.properties，并在文件中添加配置项：

s3service.s3-endpoint=s3.cn-north-1.amazonaws.com.cn

 

>> failed on connection exception: java.net.ConnectException: Connection refused

dd