linux下搭建hadoop环境

 

1 创建hadoop专属用户

　　非必需。其目的是，让所有的hadoop应用，用一个单独的帐号操作。

　　linux下创建用户、用户组及赋予sudoer权限 链接：http://www.cnblogs.com/yanyichao/p/3758756.html

　　mac下创建用户及赋予sudo权限 链接：http://www.cnblogs.com/yanyichao/p/3758837.html

2 配置ssh，节点间免密码登录

　　必需。节点间同步数据等需要。

　　linux下，免密码登录 链接：http://www.cnblogs.com/yanyichao/p/3758863.html

3 安装Java　　

　　建议master-slave安装统一版本，并建议1.7(64位机器)。

4 安装hadoop

　　安装版本为hadoop-2.4.0。由于hadoop默认配置在32位机器上，所以对于64位机器需要重新编译。在编译中，需要maven-3.2.1，对应的需要jdk1.7(jdk1.8会报错)。并且需要提前安装cmake

　　安装hadoop 略。就是下载包后各种配置。

　　hadoop配置(官网) 链接：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html

　　hadoop配置(网友提供) 链接：http://www.cnblogs.com/likai198981/p/3719251.html

5 启动hadoop

　　格式化文件系统：

./bin/hadoop namenode -format

　　启动节点：

./sbin/start-all.sh

 

6 测试hadoop是否成功安装

6.1 jps命令

　　主机结果类似：

$ jps
12493 Jps
10249 NameNode
10448 SecondaryNameNode

　　从机结果类似：

$ jps
1830 Jps
539 DataNode

　　好像不该说主从，忽略我。

6.2 查看dfs管理界面

　　在主机的浏览器输入：https://localhost:50070

6.3 测试wordcount　

　　测试wordcount 链接：http://www.cnblogs.com/luxh/archive/2013/01/17/2863612.html

 　  由于版本问题，jar包被放到了不同的地方，这个wordcount测试不能用。新的命令如下:

/bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount /hadoop/input/* /hadoop/output/wordcount