hadoop和hbase高可用模式部署

记录apache版本的hadoop和hbase的安装，并启用高可用模式。

1. 主机环境#

我这里使用的操作系统是centos 6.5，安装在vmware上，共三台。

主机名 IP 操作系统 用户名 安装目录
node1 192.168.1.101 centos 6.5 wxyuan /opt/hadoop,/opt/hbase
node2 192.168.1.102 centos 6.5 wxyuan /opt/hadoop,/opt/hbase
node3 192.168.1.103 centos 6.5 wxyuan /opt/hadoop,/opt/hbase

2. 集群规划#

node1 node2 node3
NameNode NameNode
DataNode DataNode DataNode
DFSZKFailoverController DFSZKFailoverController
ResourceManager ResourceManager
NodeManager NodeManager NodeManager
JournalNode JournalNode JournalNode
HMaster HMaster
HRegionServer HRegionServer HRegionServer
Zookeeper Zookeeper Zookeeper

hadoop、hbase、zookeeper和jdk的版本信息如下：

组件 版本号
JDK 1.7.079
Hadoop 2.6.0
HBase 1.1.3
Zookeeper 3.4.6

下载地址：
JDK: http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
zookeeper: http://archive.apache.org/dist/zookeeper/
hadoop: https://archive.apache.org/dist/hadoop/core/
hbase: http://archive.apache.org/dist/hbase/

hadoop和bhase的高可用依赖于zookeeper，所以需要安装zookeeper集群.关于JDK和zookeeper的安装，这里不再叙述。

3. 配置SSH免密码登陆#

高可用模式下，hadoop的故障切换需要通过ssh登陆到其它机器，进行主备切换，因此需要配置主机间的免密码登陆。配置方式可参考Linux配置ssh免密码登陆。

4. 安装hadoop#

我这里安装使用的是普通用户（非root安装），下载的版本是hadoop-2.6.0.tar.gz。

4.1 修改配置文件#

(1). 上传hadoop-2.6.0.tar.gz到/opt/hadoop目录下;
(2). 解压tar -zxvf hadoop-2.6.0.tar.gz;
(3). 修改配置文件：core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,配置文件在/opt/hadoop/hadoop-2.6.0/etc/hadoop目录下;
修改core-site.xml,内容如下：

Copy
<configuration>
    <!-- hdfs连接地址，集群模式（高可用） -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster</value>
    </property>
    <!-- namenode,datanode数据存放目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/hadoop-2.6.0/tmp</value>
    </property>
    <!-- zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
    </property> 
</configuration>

修改hdfs-site.xml，内容如下：

Copy
<configuration>

    <property>  
        <name>dfs.nameservices</name>  
        <value>cluster</value>  
    </property>  

    <property>  
        <name>dfs.ha.namenodes.cluster</name>  
        <value>nn01,nn02</value>  
    </property>
    <!-- nn01的RPC通信地址 -->
    <property>  
        <name>dfs.namenode.rpc-address.cluster.nn01</name>  
        <value>node1:9000</value>  
    </property>  
    <!-- nn01的http通信地址 -->
    <property>  
        <name>dfs.namenode.http-address.cluster.nn01</name>  
        <value>node1:50070</value>  
    </property>  
     <!-- nn02的RPC通信地址 -->
    <property>  
        <name>dfs.namenode.rpc-address.cluster.nn02</name>  
        <value>node2:9000</value>  
    </property>  
    <!-- nn02的http通信地址 -->
    <property>  
        <name>dfs.namenode.http-address.cluster.nn02</name>  
        <value>node2:50070</value>  
    </property>  
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>  
        <name>dfs.namenode.shared.edits.dir</name>  
        <value>qjournal://node1:8485;node2:8485;node3:8485/cluster</value>  
    </property>  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>  
        <name>dfs.journalnode.edits.dir</name>  
        <value>/opt/hadoop/hadoop-2.6.0/journaldata</value>  
    </property>  
    <!-- 开启NameNode故障时自动切换 -->
    <property>  
        <name>dfs.ha.automatic-failover.enabled</name>  
        <value>true</value>  
    </property>  
    <!-- 配置失败自动切换实现方式 -->
    <property>  
        <name>dfs.client.failover.proxy.provider.cluster</name>  
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
    </property>  
     <!-- 配置隔离机制,需要ssh免登陆,默认端口22 -->
    <property>  
        <name>dfs.ha.fencing.methods</name>  
        <value>sshfence</value>  
    </property>
    <!--<property>
             <name>dfs.ha.fencing.methods</name>
             <value>sshfence(hadoop:22022)</value>
    </property>-->
    
    <!-- 如果使用ssh进行故障切换，ssh通信所需要的密钥存储位置。注意：密钥默认保存在当前用户家目录的.ssh目录下，请根据实际情况修改 -->
    <property>  
        <name>dfs.ha.fencing.ssh.private-key-files</name>  
        <value>/home/wxyuan/.ssh/id_rsa</value>  
    </property>  

    <!-- connect-timeout超时时间 -->
    <property>  
        <name>dfs.ha.fencing.ssh.connect-timeout</name>  
        <value>30000</value>  
    </property>  

</configuration>

修改yarn-site.xml,内容如下：

Copy
<configuration>
    <!-- 启用HA高可用性 -->
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>  

    <!-- 指定resourcemanager的名字 -->
    <property>  
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>  
    </property>  

    <!-- 配置2个resourcemanager -->
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>  

    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>node1</value>  
    </property>  
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>  
       <value>node2</value>  
    </property>  

    <property>  
       <name>yarn.resourcemanager.zk-address</name>  
       <value>node1:2181,node2:2181,node3:2181</value>  
    </property> 

     <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>  
       <name>yarn.nodemanager.aux-services</name>  
       <value>mapreduce_shuffle</value>  
    </property> 
</configuration>

修改mapred-site.xml(该文件不存在，需要手动创建),cp mapred-site.xml.template mapred-site.xml,内容如下：

Copy
<configuration>
<!-- 采用yarn作为mapreduce的资源调度框架 -->
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
</configuration>

(4) 修改slaves文件vim slaves，内容如下:

Copy
node1
node2
node3

(5) 修改hadoop-env.sh文件，指定jdk的地址

Copy
# The java implementation to use.
export JAVA_HOME=/opt/java/jdk1.7.0_79

(6) 配置用户的环境变量,vim ~/.bash_profile，增加如下内容

Copy
# hadoop environment variables 
export HADOOP_HOME=/opt/hadoop/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$PATH

4.2 拷贝复制到其它机器#

Copy
scp -r /opt/hadoop/hadoop-2.6.0 wxyuan@node2:/opt/hadoop
scp -r /opt/hadoop/hadoop-2.6.0 wxyuan@node3:/opt/hadoop

4.3 启动hadoop#

启动hadoop前，需要执行几步格式化操作：
(1) 启动journalnode，三台机器都要这一步操作（仅第一次启动hadoop时，需要这一步操作，之后不再需要手动启动journalnode）

Copy
cd /opt/hadoop/hadoop-2.6.0/sbin
sh hadoop-daemon.sh start journalnode

(2) 在node1上执行格式化操作，格式化namenode和zkfc

Copy
hdfs namenode -format
hdfs zkfc -formatZK

(3) namenode主从信息同步：复制node1上的/opt/hadoop/hadoop-2.6.0/tmp目录到node2的/opt/hadoop/hadoop-2.6.0目录下，

Copy
scp -r /opt/hadoop/hadoop-2.6.0/tmp wxyuan@node2:/opt/hadoop/hadoop-2.6.0

上述步骤完成后，接下来我们就可以启动hadoop了，在node1机器上执行下面的命令，

Copy
# 启动hdfs
cd /opt/hadoop/hadoop-2.6.0/sbin
sh start-dfs.sh
# 启动yarn
sh start-yarn.sh

在node2机器上启动ResourceManager（备用主节点的ResourceManager需要手动启动）

Copy
cd /opt/hadoop/hadoop-2.6.0/sbin
sh yarn-daemon.sh start resourcemanager

在每台机器上，使用jps命令可查看启动的进程,这里以我的机器为例，查看相关进程
node1机器

Copy
[wxyuan@node1 sbin]$ jps
13245 NameNode
11922 DataNode
12228 DFSZKFailoverController
11654 QuorumPeerMain
12328 ResourceManager
12423 NodeManager
11439 JournalNode

node2机器

Copy
[wxyuan@node2 ~]$ jps
9025 NodeManager
8546 JournalNode
9183 ResourceManager
8472 QuorumPeerMain
8945 DFSZKFailoverController
8717 NameNode
8782 DataNode

node3机器

Copy
[wxyuan@node3 ~]$ jps
8464 QuorumPeerMain
8655 DataNode
8534 JournalNode
8789 NodeManager

4.4 web界面查看hadoop信息#

(1) 浏览器访问 http://node1:50070
hadoop-node1.png
可以看到，当前节点node1处于active状态。
浏览器访问 http://node2:50070
hadoop-node2.png
可以看到，当前节点node2处于standby状态。
(2) 查看每个datanode的信息，http://node1:50075、http://node2:50075、http://node3:50075
(3) 查看yarn的web控制台，浏览器访问 http://node1:8088/cluster
yarn.png

4.5 测试高可用#

(1) 在node1节点上执行jps命令，查看namenode进程的pid，使用kill命令杀死该进程，此时浏览器访问 http://node2:50070，可以看到状态已经变成active。
(2) 重新启动node1的namenode,sh start-dfs.sh，浏览器访问 http://node1:50070，可以看到此时状态已经变成standby。
注意：hadoop进程日志位于/opt/hadoop/hadoop-2.6.0/logs目录下。

5. 安装hbase#

这里我下载的版本是hbase-1.1.3-bin.tar.gz

5.1 修改配置文件#

(1). 上传hadoop-2.6.0.tar.gz到/opt/hbase目录下;
(2). 解压tar -zxvf hbase-1.1.3-bin.tar.gz;
(3). 修改配置文件：hbase-env.sh,hbase-site.xml,配置文件在/opt/hbase/hbase-1.1.3/conf目录下;
对于hbase-env.sh，需要修改的内容有三处：

Copy
//指定jdk目录
# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/opt/java/jdk1.7.0_79

//指定pid文件目录
# The directory where pid files are stored. /tmp by default. 
export HBASE_PID_DIR=/opt/hbase/hbase-1.1.3/pids

//禁用HBase自带的Zookeeper，因为我们是使用独立的Zookeeper
# Tell HBase whether it should manage it's own instance of Zookeeper or not.                                                  
export HBASE_MANAGES_ZK=false

修改hbase-site.xml，内容如下：

Copy
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://cluster/hbase</value>
    </property>
  <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
  </property>
  <property>
        <name>hbase.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
  </property>
  <property>
        <name>hbase.tmp.dir</name>
        <value>/opt/hbase/hbase-1.1.3/tmp/hbase</value>
  </property>
  <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/hbase/hbase-1.1.3/tmp/data</value>
  </property>
  <property>
        <name>hbase.regionserver.restart.on.zk.expire</name>
        <value>true</value>
  </property>
  <property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
  </property>
</configuration>

(4) 拷贝/opt/hadoop/hadoop-2.6.0/etc/hadoop目录下的core-site.xml和hdfs-site.xml文件到/opt/hbase/hbase-1.1.3/conf下，如果缺少这两个文件，启动hbase时会出现未知主机的异常，导致进程启动失败
(5) 修改regionservers文件

Copy
node1
node2
node3

(6) 新增backup-masters文件vim /opt/hbase/hbase-1.1.3/conf/backup-master，内容如下：

Copy
node2

(7) 配置用户的环境变量,vim ~/.bash_profile，增加如下内容：

Copy
# hbase environment variables
export HBASE_HOME=/opt/hbase/hbase-1.1.3
export PATH=$HBASE_HOME/bin:$PATH

5.2 拷贝复制到其它机器#

Copy
scp -r /opt/hbase/hbase-1.1.3 wxyuan@node2:/opt/hbase
scp -r /opt/hbase/hbase-1.1.3 wxyuan@node3:/opt/hbase

5.3 启动hbase进程#

Copy
cd /opt/hbase/hbase-1.1.3/bin
sh start-hbase.sh

使用jsp命令可查看hbase相关进程：HMaster、HRegionServer

5.4 登陆web界面查看hbase信息#

(1) 浏览器访问http://node1:60010,可以看到node1是master
hbase-node1.png
(2) 浏览器访问http://node2:60010
hbase-node2.png

5.5 高可用测试#

(1) 在node1节点上执行jps命令，查看HMaster进程的pid，使用kill命令杀死该进程，此时浏览器访问 http://node2:60010，可以看到node2变成了master。
(2) 重新启动node1的HMaster,sh start-hbase.sh，http://node1:60010
注意：hbase进程日志位于/opt/hbase/hbase-1.1.3/logs目录下。

关于hbase基本的shell命令，可参考HBase shell基本命令介绍

posted @   redcoder54  阅读(669)  评论(0)    收藏  举报
编辑推荐：
· 运维排查 | SaltStack 远程命令执行中文乱码问题
· Java线程池详解：高效并发编程的核心利器
· 从“看懂世界”到“改造世界”：AI发展的四个阶段你了解了吗？
· 协程本质是函数加状态机——零基础深入浅出 C++20 协程
· 编码之道，道心破碎。
阅读排行：
· 基于.net6的一款开源的低代码、权限、工作流、动态接口平台
· 一个自认为理想主义者的程序员，写了5年公众号、博客的初衷
· Claude Code 初体验 - Windows
· 基于 C# 编写的轻量级工控网关和 SCADA 组态软件
· 纯C#软实现openGL(V0.1)，黑盒变白盒
点击右上角即可分享
微信分享提示
1Panel V2 正式发布
CONTENTS
✕