CentOS中构建高可用Hadoop 3集群

​

 构建高可用Hadoop 3集群首先，你需要拥有多台运行着CentOS的机器，并且有基础的Linux系统知识。

步骤如下：

第一步：环境配置

你需要至少有三台机器，我们将它们命名为Master、Slave1和Slave2。分别设置它们的主机名，并在每台机器上更新/etc/hosts文件，使每台机器都能通过主机名互相通信。

第二步：安装Java

Hadoop需要Java运行环境。使用yum命令安装Open JDK：

sudo yum install java-1.8.0-openjdk

然后设定JAVA_HOME环境变量。将它放到/etc/profile文件中，以便全局有效。

第三步：安装Hadoop

在官网下载Hadoop 3.x版本，然后解压到/usr/local/hadoop目录下。设定HADOOP_HOME环境变量，同样放到/etc/profile中。

第四步：配置ssh免密码登录

Hadoop需要SSH来启动和停止集群。在Master机器上，执行 ssh-keygen -t rsa命令生成秘钥，然后使用ssh-copy-id将公钥复制到Slave1和Slave2。

第五步：Hadoop配置

在$HADOOP_HOME/etc/hadoop目录下，有4个主要的配置文件需要修改：

• core-site.xml：指定HDFS的Namenode地址。
• hdfs-site.xml：配置HDFS的复制因子，以及Namenode和Datanode的数据存储路径。
• mapred-site.xml：指定MapReduce的Jobtracker地址。
• yarn-site.xml：配置资源管理器ResourceManager，以及节点管理器NodeManager等。

第六步：格式化HDFS

在开始使用HDFS之前，你需要首次格式化它：

hadoop namenode -format

第七步：启动Hadoop集群

最后，你可以运行 sbin/start-all.sh脚本，启动Hadoop集群。然后访问http://master:50070/，看到管理界面，说明你的集群安装成功。

​