01.hadoop集群环境搭建

hadoop集群搭建的步骤

1.安装jdk
2修改ip地址
3.关闭防火墙
4.修改hostname
5.设置ssh自动登陆
6.安装hadoop
-----------------------------------------------------------------------
1.1安装jdk

 

上传jdk-6u24-linux-i586.bin到/home/





 

#cd /home/

#./jdk-6u24-linux-i586.bin

#mv jdk-6u24-linux-i586.bin jdk

#vi /etc/profile，在文件尾部添加

export JAVA_HOME=/home/jdk 

export PATH=$JAVA_HOME/bin:$PATH

保存退出

#source /etc/profile

#java -version

 

1.2修改ip地址

    ifcfg-eth0文件参考：
    vim /etc/sysconfig/network-scripts/ifcfg-eth0

 DEVICE="eth0"

BOOTPROTO="static"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.8.100

PREFIX=24

GATEWAY=192.168.8.1

1.3关闭防火墙，修改主机名（hostname）

 

 

#hostname <机器名>

#vi /etc/sysconfig/network

HOSTNAME=<机器名>     保存退出，重启

修改/etc/hosts
 

修改/etc/sysconfig/network-scripts/相应的网络配置

关闭防火墙

#service iptables stop

1.5.设置ssh免密码登录
　 Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来无密码登录启动和停止各个DataNode上的各种守护进程的同样原理，DataNode上也能使用SSH无密码登录到NameNode。

 

从namenode到本身及各datanode免密码登录

在各机器上执行

#ssh-keygen  -t rsa一路回车

在~/.ssh/生成文件id_rsa  id_rsa.pub

在namenode机器上执行：

#cd ~/.ssh/

#scp id_rsa.pub root@<各datanode的IP>:/home

在各datanode机器上执行：

#cd /home/

#cat id_rsa.pub >>/root/.ssh/authorized_keys

 

1.6.安装hadoop
    1.6.1在namenode上安装hadoop

 

Hadoop的安装位置（HADOOP_HOME）：/HOME/hadoop

1.用软件上传hadoop-1.0.4.tar.gz到/home

#cp hadoop-1.0.4.tar.gz /home

2.解压文件

#cd /home

#tar -zxvf hadoop-1.0.4.tar.gz

#mv hadoop-1.0.4 hadoop

3.修改/etc/profile

#vi /etc/profile

export JAVA_HOME=/home/java

export HADOOP_HOME=/home/hadoop

export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin

保存退出

#source /etc/profile

 1.6.3修改hadoop的配置文件

 

1.修改conf/hadoop-env.sh

export JAVA_HOME=/home/java

export HADOOP_HEAPSIZE=1024

export HADOOP_PID_DIR=/home/hadoop/pids

保存退出

2.配置conf/core-site.xml，增加以下内容

<property>

  <name>fs.default.name</name>

  <value>hdfs://hadoop00:9000</value>

</property>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/home/hadoop/tmp</value>

</property>

3.配置conf/hdfs-site.xml

<property>

  <name>dfs.replication</name>

  <value>2</value>

</property>

4.配置conf/mapred-site.xml

<property>

  <name>mapred.job.tracker</name>

  <value>hdfs://hadoop00:9001/</value>

</property>

 

 

 

5.配置master节点

配置conf/masters

hadoop00

6.pei'zhi配置slaves节点

配置conf/slaves

hadoop01

hadoop02

hadoop03

7:复制hadoop到各datanode并修改

把hadoop00的hadoop目录、jdk目录、/etc/hosts、/etc/profile复制到hadoop01，hadoop02、hadoop03节点

#cd $HADOOP_HOME/..

#scp -r hadoop hadoop01:/home

#scp -r hadoop hadoop02:/home

#scp -r hadoop hadoop03:/home

 

1.6.4启动和停止hadoop集群

 

终端查看集群状态：

#hadoop dfsadmin -report

在hadoop0上

第一次启动Hadoop,必须先格式化namenode

#cd $HADOOP_HOME /bin

#hadoop namenode –format

启动Hadoop

#cd $HADOOP_HOME/bin

#./start-all.sh

如果启动过程，报错safemode相关的Exception

执行命令

# hadoop dfsadmin -safemode leave

然后再启动Hadoop

停止Hadoop

cd $HADOOP_HOME/bin

#./stop-all.sh