centos下面的hadoop搭建

利用luoyuncloud实现hadoop的搭建。使用scp命令上传文件。

scp -P 11080 hadoop-1.0.4-bin.tar.gz root@luoyuncloud.com:
scp -P 11080 jdk-6u43-linux-i586-rpm.bin root@luoyuncloud.com:

然后在远端的云主机上解压[root@localhost ~]# tar -zxf hadoop-1.0.4-bin.tar.gz

 

因为hadoop需要java的支持，所以需要安装jdk。

安装JDK 
<1>从SUN下载jdk-1_5_0_14-linux-i586-rpm.bin或jdk-1_5_0_14-linux-i586.bin 
在/usr下新建java文件夹，将安装包放在/usr/java目录下 
# mkdir /usr/java 
<2>安装JDK 
# cd /usr/java 
①jdk-1_5_0_14-linux-i586-rpm.bin文件安装 
# chmod 777 jdk-1_5_0_14-linux-i586-rpm.bin ← 修改为可执行 
# ./jdk-1_5_0_14-linux-i586-rpm.bin ← 选择yes同意上面的协议 
# rpm -ivh jdk-1_5_0_14-linux-i586.rpm ← 选择yes直到安装完毕 
②jdk-1_5_0_14-linux-i586.bin文件安装 
# chmod a+x jdk-1_5_0_14-linux-i586.bin ← 使当前用户拥有执行权限 
# ./jdk-1_5_0_14-linux-i586.bin ← 选择yes直到安装完毕 

配置环境变量 
<1># vi /etc/profile 
<2>在最后加入以下几行： 
JAVA_HOME=/usr/java/jdk1.6.0_43
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
<3># reboot ← 重启机器配置生效

至此，jdk完成。剩下的就是配置hadoop了。

因为在集群中用到ssh协议，所以master和cluster之间要免ssh登录。

修改hostname为：主机为hadoop.main cluster为hadoop.cluster(在etc/sysconfig/network里面)，并且将master里面的ssh证书给cluster（scp id_rsa.pub hadoop.cluster:.ssh/
[root@hadoop .ssh]# cat id_rsa.pub >> authorized_keys），这样就能免密码登录了。修改主机名和ip对应的关系。

成功：