hadoop2.2.0的ha分布式集群搭建
hadoop2.2.0 ha集群搭建
使用的文件如下：
jdk-6u45-linux-x64.bin
hadoop-2.2.0.x86_64.tar
zookeeper-3.4.5.tar.gz
hbase-0.96.2-hadoop2-bin.tar
使用WinSCP工具将上述文件复制到linux的根目录的cloud文件夹下
文件所在路径为：
/cloud/jdk-6u45-linux-x64.bin
/cloud/hadoop-2.2.0.x86_64.tar
/cloud/zookeeper-3.4.5.tar.gz
/cloud/hbase-0.96.2-hadoop2-bin.tar
文件安装路径为：
/cloud/jdk
/cloud/hadoop
1使用wmware创建6台虚拟机，这里不再一一叙述配置过程
主机名 IP地址 安装的软件 运行的进程
hdp1 192.168.1.11 jdk1.6、hadoop2.2.0 NameNode、DFSZKFailoverController
hdp2 192.168.1.12 jdk1.6、hadoop2.2.0 NameNode、DFSZKFailoverController
hdp3 192.168.1.13 jdk1.6、hadoop2.2.0 ResourceManager
hdp4 192.168.1.14 jdk1.6、hadoop2.2.0、zookeeper3.4.5 DataNode、NodeManager、JournalNode、QuorumPeerMain
hdp5 192.168.1.15 jdk1.6、hadoop2.2.0、zookeeper3.4.5 DataNode、NodeManager、JournalNode、QuorumPeerMain
hdp6 192.168.1.16 jdk1.6、hadoop2.2.0、zookeeper3.4.5 DataNode、NodeManager、JournalNode、QuorumPeerMain
2关闭防火墙
关闭防火墙如下：
停止运行防火墙：service iptables stop
关闭防火墙自启动：chkconfig iptables off
验证防火墙是否关闭：chkconfig --list | grep iptables
3生成ssh免密码登录
分别在每个节点上生成公钥私钥：
cd /root/.ssh
ssh-keygen -t rsa三次回车
cp id_rsa.put authorized_keys
将hdp2、hdp3、hdp4、hdp5、hdp6的私钥复制到hdp1节点上：
在hdp2节点上执行：ssh-copy-id -i hdp1
在hdp3节点上执行：ssh-copy-id -i hdp1
在hdp4节点上执行：ssh-copy-id -i hdp1
在hdp5节点上执行：ssh-copy-id -i hdp1
在hdp6节点上执行：ssh-copy-id -i hdp1
将hdp1节点上的authorized_keys复制给hdp2、hdp3、hdp4、hdp5、hdp6节点：
在hdp1节点上执行：scp /root/.ssh/authorized_keys hdp2:/root/.ssh/
在hdp1节点上执行：scp /root/.ssh/authorized_keys hdp3:/root/.ssh/
在hdp1节点上执行：scp /root/.ssh/authorized_keys hdp4:/root/.ssh/
在hdp1节点上执行：scp /root/.ssh/authorized_keys hdp5:/root/.ssh/
在hdp1节点上执行：scp /root/.ssh/authorized_keys hdp6:/root/.ssh/
验证ssh免密码登录（包括登录自己）：
在hdp1节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
在hdp2节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
在hdp3节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
在hdp4节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
在hdp5节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
在hdp6节点上执行：ssh hdp1、ssh hdp2、ssh hdp3、ssh hdp4、ssh hdp5、ssh hdp6
4配置hdp1节点上的jdk-6u45-linux-x64.bin
cd /cloud/目录下
为jdk-6u45-linux-x64.bin赋予执行权限：chmod u+x jdk-6u45-linux-x64.bin
在当前目录下解压jdk-6u45-linux-x64.bin：./jdk-6u45-linux-x64.bin(/cloud/文件夹下多了一个jdk1.6.0.45文件夹)
重命名jdk1.6.0.45：mv jdk1.6.0.45 jdk
配置jdk到环境变量：
vi /etc/profile添加如下内容：
export JAVA_HOME=/cloud/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
使修改的环境变量立即生效：
source /etc/profile
验证jak：
java -version
5配置hdp1节点上的hadoop-2.2.0.x86_64.tar
cd /cloud/目录下
在当前目录下解压hadoop-2.2.0.x86_64.tar：tar -zxvf hadoop-2.2.0.x86_64.tar(/cloud/下多了个hadoop-2.2.0文件夹)
重命名hadoop2.2.0：mv hadoop-2.2.0 hadoop
配置hadoop到环境变量：
vi /etc/profile添加如下内容：
export HADOOP_HOME=/cloud/hadoop
修改PATH变量为：export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
使修改的环境变量立即生效：
source /etc/profile
修改位于hadoop/etc/hadoop下的配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves)如下：
修改hadoop-env.sh的27行jdk
export JAVA_HOME=/cloud/jdk
修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop/data</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hdp4:2181,hdp5:2181,hdp6:2181</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hdp1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hdp1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hdp2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hdp2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hdp4:8485;hdp5:8485;hdp6:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/cloud/hadoop/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<configuration>
修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp3</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration
修改slaves
hdp4
hdp5
hdp6
由于core-site.xml中指定了hadoop数据存放的本地磁盘路径是/cloud/hadoop/data，而这个/cloud/hadoop/下data文件夹是不存在需要创建；
由于hdfs-site.xml中指定了JournalNode在本地磁盘存放数据的位置是/cloud/hadoop/journal，而/cloud/hadoop/下的journal文件夹是不存在的需要创建。
此上6个配置文件都是hdp1节点上的，修改完成后将配置好的环境变量/etc/profile文件、/cloud/jdk文件夹和/cloud/hadoop文件夹复制到其他节点：
将/cloud/jdk文件夹和/cloud/hadoop文件夹复制到其他节点：
在hdp1节点上执行:scp -r /cloud/ hdp2:/
在hdp1节点上执行:scp -r /cloud/ hdp3:/
在hdp1节点上执行:scp -r /cloud/ hdp4:/
在hdp1节点上执行:scp -r /cloud/ hdp5:/
在hdp1节点上执行:scp -r /cloud/ hdp6:/
将环境变量/etc/profile文件复制到其他节点(在其他节点上要执行source /etc/profile使其修改立即生效)：
scp /etc/profile hdp2:/etc/
scp /etc/profile hdp3:/etc/
scp /etc/profile hdp4:/etc/
scp /etc/profile hdp5:/etc/
scp /etc/profile hdp6:/etc/
6在hdp4节点配置zookeeper-3.4.5.tar.gz
cd /cloud/目录下
解压zookeeper-3.4.5.tar.gz：tar -zxvf zookeeper-3.4.5.tar.gz(当前目录下多了一个zookeeper-3.4.5文件夹)
重命名zookeeper-3.4.5：mv zookeeper-3.4.5 zk
cd到/cloud/zk/conf/目录下：cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改：dataDir=/cloud/zk/data
在最后面添加：
server.1=hdp4:2888:3888
server.2=hdp5:2888:3888
server.3=hdp6:2888:3888
在/cloud/zk/创建data文件夹，进入/cloud/zk/data下创建myid文件，内容为1
将/cloud/zk文件夹复制到hdp5和hdp6下：
在hdp4节点上执行：scp -r /cloud/zk hdp5:/cloud/
在hdp4节点上执行：scp -r /cloud/zk hdp6:/cloud/
在hdp5节点上修改/cloud/zk/data/myid为2
在hdp6节点上修改/cloud/zk/data/myid为3
7启动hdp4、hdp5和hdp6节点上的zk
分别在每个节点上执行：
cd /cloud/zk/bin目录下
启动zk：zkServer.sh start
查看状态：
zkServer.sh status（leader或follower）
jps后多出来个quorumpeerMain
8在hdp1节点上启动journalnode（会启动所有journalnode）
cd /cloud/hadoop/sbin目录下
启动journalnode：hadoop-daemons.sh start journalnode(在hdp4、hdp5和hdp6节点上运行jps命令检验，多了JournalNode进程)
9在hdp1节点上格式化HDFS
格式化HDFS：hadoop namenode -format
将格式化后生成的hadoop的数据文件都在hdp1节点上，需要将hdp1节点上的数据同步到hdp2节点上，因为hdp1节点和hdp2节点是ha，这里我直接复制：scp -r /cloud/hadoop/data hdp2:/cloud/hadoop
10在hdp1节点上格式化ZK
格式化ZK：hdfs zkfc -formatZK
11在hdp1节点上启动HDFS
cd /cloud/hadoop/sbin目录下
启动HDFS：start-dfs.sh
12在hdp3节点上启动YARN
cd /cloud/hadoop/sbin目录下
启动YARN：start-yarn.sh
验证：
验证hdp1节点上的NameNode：jps或者http://hdp1:50070
验证hdp2节点上的NameNode：jps或者http://hdp2:50070
验证hdp3节点上的YARN：jps或者http://hdp3:8088/
各个节点进程如下：
hdp1
5267 DFSZKFailoverController
4990 NameNode
5380 Jps
hdp2
4471 Jps
4388 DFSZKFailoverController
4285 NameNode
hdp3
3734 ResourceManager
3982 Jps
hdp4
4214 DataNode
2373 QuorumPeerMain
4543 Jps
4431 NodeManager
4304 JournalNode
hdp5
4050 DataNode
2458 QuorumPeerMain
4267 NodeManager
4374 Jps
4140 JournalNode
hdp6
4437 NodeManager
4220 DataNode
4310 JournalNode
4549 Jps
2705 QuorumPeerMain
完成
