Mac OS部署Hadoop注意事项

Mac OS版本：10.9.1

Hadoop版本：2.2.0

 

部署过程参考了 http://www.micmiu.com 中的大量资料，原作者写的非常清晰，感恩。

1、hadoop-env.sh中需要配置JAVA_HOME，否则可能会引用到不是你所期望的JAVA环境；

2、start-dfs.sh失败，原因是官方部署包中只有32位的native 库，需要自己手工编译64位库；

3、编译native库花了较长时间，采用maven编译，首次使用maven会进行大量下载，

    遇到下载不流畅的情况，可以Ctrl + C中断然后继续；

4、编译之前需要安装cmake, protoc;

5、如果本机没有/usr/include，可通过执行xcode-select install安装；

6、Mac OS推荐安装brew，进一步可以安装wget，谁用谁知道；

7、官方2.2.0源码包有3个bug，一个是已知问题，需要patch HADOOP-9648.v2.patch，

    第二个是hadoop-auth/pom.xml中需要新增org.mortbay.jetty对jetty-util的依赖项，

    第三个是自己遇到的，编译hdfs时失败，核查DEBUG信息，发现是posix_util.c无法找到PATH_MAX定义，

    PATH_MAX是在/usr/include/sys/syslimits.h中定义的，在posix_util.c中#include <limits.h>即可;

8、编译完成后，将编译出的native库，替换官方包里的原有native库即可；

9、库替换完成后，再次启动start-dfs.sh，仍然发现namenode/datanode没有启动，此时需要重新format hdfs;