Hadoop集群搭建

注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系

######注意######
如果是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系 

4.关闭防火墙
5.ssh免登陆
6.安装JDK,配置环境变量等

集群规划: 

主机名        IP                安装的软件                运行的进程
hadoop01    192.168.8.101    jdk、hadoop                NameNode、DFSZKFailoverController
hadoop02    192.168.8.102    jdk、hadoop                NameNode、DFSZKFailoverController
hadoop03    192.168.8.103    jdk、hadoop                ResourceManager
hadoop04    192.168.8.104    jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop05    192.168.8.105    jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop06    192.168.8.106    jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain 

说明:

在hadoop2.0中通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。
Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS另一种是QJM。这里我们使用简单的QJM。
在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode。
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态

安装步骤:
1.安装配置zooekeeper集群(在hadoop04上)

###ZK用来保证数据在集群之间的事务性一致(前提要求:各节点的系统时间保持一致)

 1.1解压

tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/

 1.2修改配置

cd /hadoop/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg    
vim zoo.cfg
修改:dataDir=/hadoop/zookeeper-3.4.5/tmp
//在最后添加:
server.1=hadoop04:2888:3888
server.2=hadoop05:2888:3888
server.3=hadoop06:2888:3888
//保存退出    
//然后创建一个tmp文件夹    mkdir /hadoop/zookeeper-3.4.5/tmp
//再创建一个空文件    touch /hadoop/zookeeper-3.4.5/tmp/myid
//最后向该文件写入ID    echo 1 > /hadoop/zookeeper-3.4.5/tmp/myid

 1.3将配置好的zookeeper拷贝到其他节点

//首先分别在hadoop05、hadoop06根目录下创建一个hadoop目录:mkdir /hadoop
scp -r /hadoop/zookeeper-3.4.5/ root@hadoop05:/hadoop/
scp -r /hadoop/zookeeper-3.4.5/ root@hadoop06:/hadoop/

注意:修改hadoop05、hadoop06对应/hadoop/zookeeper-3.4.5/tmp/myid内容

hadoop05:echo 2 > /hadoop/zookeeper-3.4.5/tmp/myid
hadoop06:echo 3 > /hadoop/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群
 2.1解压

tar -zxvf hadoop-2.2.0.tar.gz -C /hadoop/

 2.2配置HDFS

#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/hadoop/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下【6个配置文件】
cd /hadoop/hadoop-2.2.0/etc/hadoop

  2.2.1修改hadoo-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_55

  2.2.2修改core-site.xml

<configuration>
    <!-- 这里的值指的是默认的HDFS路径。当有多个NN同时工作时,用户如果不写NN名称,那么默认使用哪个?在这里指定!该值和hdfs-site.xml中的配置相同 -->
    <!-- 此配置替代了1.0里的fs.default.name -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    
    <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.2.0/tmp</value>
    </property>
    
    <!-- 这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点。逗号隔开 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop04:2181,hadoop05:2181,hadoop06:2181</value>
    </property>    
</configuration>

  2.2.3修改hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
    <!-- 这个属性是为NameNode Federation准备的。使用Federation时,使用2个HDFS集群,抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起,相互不重复即可 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    
    <!-- 指定NameService是ns1的两个NameNode,分别是nn1,nn2 -->
    <!-- 这个属性是为NameNode HA准备的。 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>hadoop01:9000</value>
    </property>
    
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>hadoop01:50070</value>
    </property>
    
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>hadoop02:9000</value>
    </property>
    
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>hadoop02:50070</value>
    </property>
    
    <!-- 指定ns1的两个NameNode的共享元数据edits信息在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns1</value>
    </property>
    
    <!-- 指定JournalNode集群在对NameNode的目录进行共享时,在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/hadoop/hadoop-2.2.0/journal</value>
    </property>
    
    <!-- Hadoop2.0中NN宕机,有两种切换方式:手动和自动 -->
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    
    <!-- NN失败自动切换实现方式,此处示例为Hadoop 2.0自带的缺省代理类 -->
    <!-- 指定客户端用于HA切换的代理类,不同的ns可以用不同的代理类 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
    <!-- 隔离机制:当Active出现问题时,ZK自动Kill故障节点的方式-->
    <!-- sshfence表示Active NN故障但未挂掉,ZK通过接收ZKFC返回的心跳信息判断NN发生故障,然后ZK通过ssh发送命令将故障的NN kill掉 -->
    <!-- shell表示当Active NN节点挂掉,其中的ZKFC进程也挂掉了,无法向ZK按时返回心跳。此时ZK通过Shell命令将Standby NN切换到Active状态 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    
    <!-- 使用sshfence隔离机制时需要ssh免登陆,配置私钥的位置 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    
    <!-- 配置sshfence隔离机制超时时间,单位毫秒 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>    
</configuration> 

  2.2.4修改mapred-site.xml(先改文件名)

<configuration>
    <!-- 指定运行mapreduce的环境是yarn,与hadoop1截然不同的地方 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  2.2.5修改yarn-site.xml

<configuration>
    <!-- 指定resourcemanager地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
    </property>
    
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

  2.2.6修改slaves

//slaves是指定子节点的位置,因为要在hadoop01上启动HDFS、在hadoop03启动yarn,所以hadoop01上的slaves文件指定的是datanode的位置,hadoop03上的slaves文件指定的是nodemanager的位置
hadoop04
hadoop05
hadoop06

  2.2.7配置免密码登陆(3组

###首先要配置hadoop01到hadoop02、hadoop03、hadoop04、hadoop05、hadoop06的免密码登陆
#在hadoop01上生产一对钥匙(目录为~/.ssh/)
ssh-keygen -t rsa 
#将公钥拷贝到其他节点,包括自己
ssh-coyp-id hadoop01
ssh-coyp-id hadoop02
ssh-coyp-id hadoop03
ssh-coyp-id hadoop04
ssh-coyp-id hadoop05
ssh-coyp-id hadoop06

###配置hadoop03到hadoop04、hadoop05、hadoop06的免密码登陆
#在hadoop03上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点(由于启动自己的时候不走ssh,所以不用拷贝给自己)
ssh-coyp-id hadoop04
ssh-coyp-id hadoop05
ssh-coyp-id hadoop06
//疑问:01和03节点都将自己的私钥拷贝给04-05-06,那么私钥会不会被覆盖掉?
//不会的,后者会追加写入同一文件之中。

###注意:两个namenode之间要配置ssh免密码登陆,别忘了配置hadoop02到hadoop01的免登陆
#在hadoop02上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到01节点
ssh-coyp-id -i hadoop01

 2.4将配置好的hadoop拷贝到其他节点(拷贝之前,最好把/hadoop-2.2.0/share/doc目录删除

rm -rf /hadoop-2.2.0/share/doc

scp -r /hadoop/ root@hadoop02:/
scp -r /hadoop/ root@hadoop03:/
scp -r /hadoop/hadoop-2.2.0/ root@hadoop04:/hadoop/
scp -r /hadoop/hadoop-2.2.0/ root@hadoop05:/hadoop/
scp -r /hadoop/hadoop-2.2.0/ root@hadoop06:/hadoop/

###此时也可以把环境变量配置一番,并把hadoop01上的/etc/profile文件拷贝2-6节点
scp /etc/profile root@hadoop02:/etc
scp /etc/profile root@hadoop03:/etc
scp /etc/profile root@hadoop04:/etc
scp /etc/profile root@hadoop05:/etc
scp /etc/profile root@hadoop06:/etc

###注意:严格按照下面的步骤
 2.5启动zookeeper集群(分别在hadoop04、hadoop05、hadoop06上启动zk)

cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start
###查看状态,确认启动成功:一个leader,两个follower
./zkServer.sh status

 2.6启动JournalNode(分别在hadoop04、hadoop05、hadoop06上执行)

注意:是调用的hadoop-daemons.sh这个启动多个进程的脚本,注意是复数s的那个脚本
###为什么先于hadoop启动journalnode?
这是因为JN上存放NN共享的元数据信息,它是实现HA的两个NN元数据同步。 cd
/hadoop/hadoop-2.2.0 sbin/hadoop-daemons.sh start journalnode //上面命令是通过一个脚本启动三个进程,它会检测hadoop01节点上/slaves文件的信息。 //当然也可以在4-6子节点上使用"sbin/hadoop-daemon.sh start journalnode"分别启动JN //两个脚本就hadoop-daemon.sh有点区别,有木有“s”的区别。
###运行jps命令检验,hadoop04、hadoop05、hadoop06上多了JournalNode进程 ###【启动JournalNode后,会在本地磁盘产生一个目录,用户保存NameNode的edits文件的数据】

 2.7格式化HDFS

#在hadoop01上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/hadoop/hadoop-2.2.0/tmp.
###然后将
/hadoop/hadoop-2.2.0/tmp拷贝到hadoop02的/hadoop/hadoop-2.2.0/下 scp -r /hadoop-2.2.0/tmp/ root@hadoop02:/hadoop/hadoop-2.2.0/

 2.8格式化ZK(只在hadoop01上执行即可),目的是在ZK集群上建立HA的相应节点

hdfs zkfc -formatZK
#在其他节点如06,使用/bin/zkcli.sh打开ZK的客户端,使用命令"ls /"就会发现多出一个"hadoop-ha"的目录。

 2.9启动HDFS(在hadoop01上执行)

sbin/start-dfs.sh

 2.10启动YARN(#####注意#####:是在hadoop03上执行start-yarn.sh)

###把NN和RM分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动
sbin/start-yarn.sh

到此,hadoop2.2.0配置完毕,可以统计浏览器访问:

http://192.168.8.101:50070
NameNode 'hadoop01:9000' (active)
http://192.168.8.102:50070
NameNode 'hadoop02:9000' (standby)

验证HDFS HA

//首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
//然后再kill掉active的NameNode
kill -9 <pid of NN>

//通过浏览器访问:http:
//192.168.8.102:50070 NameNode 'hadoop02:9000' (active) //这个时候hadoop02上的NameNode变成了active //再执行命令: hadoop fs -ls / -rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile 刚才上传的文件依然存在!!!
//手动启动那个挂掉的NameNode sbin
/hadoop-daemon.sh start namenode //通过浏览器访问:http://192.168.8.101:50070 NameNode 'hadoop01:9000' (standby)

验证YARN:

//运行一下hadoop提供的demo中的WordCount程序:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

###搭建好集群,再次使用时的:启动/停止顺序
启动Hadoop:

//第一步启动ZK:
在04-05-06节点启动ZK,"cd /hadoop/zookeeper-3.4.5/bin/",使用"./zkServer.sh start"脚本启动ZK服务 使用命令:jps,多了一个"QuorumPeerMain"的进程
//第二步启动HDFS
在01节点上,由于01配置了到其他节点的免登陆。
"cd /hadoop/hadoop-2.2.0/sbin/" 执行:"./start-dfs.sh"脚本,启动hdfs,启动顺序为: 先在01上启动NN,再在02上启动NN,再在04-05-06上启动DN,接着启动04-05-06上的JN,最后在01-02上启动ZKFC。 使用命令:jps,01节点多了"NameNode""DFSZKFailoverController"两个进程。
//第三步启动YARN:
在03节点上
"cd /hadoop/hadoop-2.2.0/sbin/" 执行:"./start-yarn.sh"脚本,启动yarn,启动顺序为: 先在03上启动RM,再在04-05-06上启动NM。 使用命令:jps,03节点多了一个"RM"进程。在04-05-06节点的进程:"QuorumPeerMain","DN","JournalNode","NM"四个进程。
####一个很有趣的现象是:在03启动RM时,没有显示主机名,这是因为启动过程调用的是本地脚本,木有走ssh协议。这也是为什么不将03私钥发给自己的原因。 ####显示主机名,则表示走的是ssh协议。

停止Hadoop:

第一步:
在hadoop01上执行"/sbin/stop-dfs.sh"脚本,则会停止hdfs。stop的顺序为: 先在01-02节点上stop NameNode,再在04-05-06上stop DataNode,接着在04-05-06依次stop JournalNode,最后在01-02上stop zkfc进程。
第二步
在hadoop03上执行“
/sbin/stop-yarn.sh”脚本,则会停止yarn。stop的顺序为: 先在01节点上stop resourcemanager,再依次04-05-06上stop nodemanager。

OK,大功告成!!!

posted @ 2015-10-04 14:44  skyl夜  阅读(...)  评论(...编辑  收藏