Hadoop高可用搭建

Hadoop高可用的理解

Hadoop高可用（HA）是为了解决Hadoop分布式文件系统（HDFS）中的单点故障问题而引入的特性。在Hadoop 2.x版本之前，HDFS集群中的NameNode是单点故障源，即如果NameNode宕机，整个HDFS集群将不可用，直到NameNode被重启或在另一台机器上启动。HDFS高可用性通过在同一个集群中运行两个NameNode来解决这个问题，这两个NameNode以Active/Passive配置运行，其中一个作为Active NameNode处理所有客户端操作，另一个作为Standby NameNode，保持足够的状态以便在需要时提供快速故障转移。

以下是Hadoop高可用性的几个关键点：

Active/Passive配置：在HA集群中，有两个或更多的NameNode，其中只有一个处于Active状态，其他的处于Standby状态。Active NameNode负责所有客户端操作，而Standby NameNode作为热备份，随时准备接管Active NameNode的职责。
状态同步：为了保持Standby NameNode与Active NameNode的状态同步，需要一个共享存储系统。Active NameNode将编辑日志（edit logs）写入共享存储，而Standby NameNode不断监视这些日志的变化，并将其应用到自己的命名空间中。这样，当Active NameNode宕机时，Standby NameNode可以确保在转变为Active状态之前已经读取了所有编辑日志，确保命名空间状态完全同步。
故障转移：在Active NameNode失败时，Standby NameNode需要确保它已经读取了所有来自共享存储的编辑日志，然后才能提升自己为Active状态。这个过程称为故障转移（failover），它确保了集群的连续可用性。
数据节点（DataNode）的角色：为了提供快速故障转移，Standby NameNode需要了解集群中块的最新位置信息。DataNode被配置为知道所有NameNode的位置，并向它们发送块位置信息和心跳信号。
避免脑裂（Split-brain scenario）：为了避免两个NameNode同时处于Active状态，需要配置至少一种隔离方法（fencing method）。在故障转移期间，如果无法验证先前的Active NameNode已经放弃了Active状态，隔离过程负责切断先前Active NameNode对共享编辑存储的访问，这允许新的Active NameNode安全地继续故障转移。
自动故障转移：Hadoop HA还可以配置自动故障转移，这涉及到ZooKeeper集群和ZKFailoverController（ZKFC）进程。ZooKeeper用于监控NameNode的状态，并在Active NameNode失败时触发故障转移。

通过这些机制，Hadoop高可用性确保了即使在NameNode故障或其他不利条件下，HDFS集群也能保持可用，从而提高了整个Hadoop生态系统的稳定性和可靠性。

搭建前准备（检查是否满足以下条件）

1、关防火墙

service firewalld stop

2、时间同步

yum install ntp
ntpdate -u s2c.time.edu.cn
或者
date -s 20180503

3、免密钥 (远程执行命令)

在两个主节点生成密钥文件
ssh-keygen -t rsa
ssh-copy-id ip

master-->master,node1,node2
node1-->master,node1,node2

4、停止hadoop集群

stop-all.sh

开始搭建

由于自己学习过程中一般只搭建三台虚拟机,这里就让master作为Activite NameNode ,node1作为的Standby NameNode

1、修改hadoop配置文件

修改配置文件中的以下内容,复制的时候注意修改成自己的主机名和ip地址

vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/soft/hadoop-3.1.2/tmp</value> 
	</property>
	<property>
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>
	<property>
	      <name>ha.zookeeper.quorum</name>
	      <value>master:2181,node1:2181,node2:2181</value>
	</property>
</configuration>

vim hdfs-site.xml

<configuration>
<!-- 指定hdfs元数据存储的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-3.1.2/data/namenode</value>
</property>

<!-- 指定hdfs数据存储的路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-3.1.2/data/datanode</value>
</property>

<!-- 数据备份的个数 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!-- 关闭权限验证 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<!-- 开启WebHDFS功能（基于REST的接口服务） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!-- //////////////以下为HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名称为mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>

<!-- 指定cluster的两个namenode的名称分别为nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>

<!-- 配置nn1,nn2的rpc通信端口 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>

<!-- 配置nn1,nn2的http通信端口 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:9870</value>
</property>

<!-- 指定namenode元数据存储在journalnode中的路径 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>

<!-- 指定journalnode日志文件存储的路径 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-3.1.2/data/journal</value>
</property>

<!-- 指定HDFS客户端连接active namenode的java类 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制为ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

<!-- 指定秘钥的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!-- 开启自动故障转移 -->
<property>  
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>

在hadoop-env.sh文件中配置HDFS_JOURNALNODE_USER
找到合适位置添加即可

vim hadoop-env.sh
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

2、同步到其它节点

改成自己的路径

cd /usr/local/soft/hadoop-3.1.2/etc/hadoop
scp ./* node1:`pwd`
scp ./* node2:`pwd`

3、删除hadoop数据存储目录下的文件每个节点都需要删除

rm -rf /usr/local/soft/hadoop-3.1.2/tmp

4、启动zookeeper 三台都需要启动

zkServer.sh start
zkServer.sh status

5、启动JN 存储hdfs元数据

三台JN上执行启动命令：

hadoop-daemon.sh start journalnode

6、格式化在一台NN上执行，这里选择master

hdfs namenode -format

7、启动当前的NN

hadoop-daemon.sh start namenode

8、执行同步没有格式化的NN上执行在另外一个namenode上面执行这里选择node1

hdfs namenode -bootstrapStandby

9、格式化ZK在master上面执行

！！一定要先把zookeeper集群正常启动起来再格式化

hdfs zkfc -formatZK

10、启动hdfs集群,在master上执行

start-dfs.sh

将master中的NameNode杀死,刷新页面发现node1变成了活跃状态

再重新启动集群,刷新页面发现master变为备用(不活跃)状态

后续使用的时候步骤：

1、开启虚拟机
2、每台机器先启动zk
3、在master上执行start-dfs.sh
4、关闭高可用hdfs stop-dfs.sh

posted @ 2024-11-04 19:28 bjynjj 阅读(60) 评论(0) 收藏举报

刷新页面返回顶部

bjynjj