Vmare 搭建Hadoop2.0-Yarn 集群

 Hadoop是apache一个开源的分布式计算项目，从开源后就备受各个技术大拿关注，我记得第一次听说还是在11年左右，当时Inte中国l有个HAdoop的实验项目，邀我一起去搞，各种原因吧，与之擦肩而过，如今已过而立之年，有点自己的时间，重新作为一个小白对其进行学习。本文是对两周的学习一个总结，如有不当，敬请赐教。

    首先对于hadoop进行一个集群环境搭建。

    一、环境准备

   由于本人是学习和研究为主，暂时没有很多物理机器使用，所以所有的操作都是基于VMware虚拟机环境下的操作：

   1）、Vmware这个就不用说了，可以最小成本的满足我们各种开发环境和集群环境的需求。

   2）、Linux-ubuntu-16.04.2 个人使用的 ubuntu，据基友介绍 ubuntu更适合学习，因为很多需要的开发环境如，SSH、VIM通过 sudo apt-get install XXX ，

迅速下载到，减少我们学习时间成本。--本人不是linux专家，只是个人看法。

  3）、JDK和 Hadoop。个人建议这个两个都去官网下载最新的版本，并查看一下版本兼容情况。本文里是jdk1.8和 hadoop 2.7.3.

 二、集群规划

         根据网上的课程规划四台用于搭建集群的服务器，具体信息如下

    

机器IP	机器名	集群服务类型	备注
192.168.2.217	SY-0217	NameNode1（Active NameNode）	配置越高越好，其运算负荷量大
192.168.2.155	SY-0355	NameNode2（Standy NameNode）/Journal Name	为了节约资源放到一台，大家也可以把他分开
192.168.2.225	SY-0226	Journal Name	dataNode资源可以分少点
192.168.2.226	SY-0226	Journal Name	dataNode资源可以分少点

 三、linux安装以及配置

  linux主要配置有静态iP配置、Hosts、安装JDK和Hadoop，并开放防火墙端口、ssh免密登陆。

   Step 1、 配置网络地址

  参考代码

sudo vim /etc/network/interfaces
##配置网络IP地址
sudo vim  
#the primay netowrk interface
auto ens33
iface ens33 inet static
address 192.168.18.217
netmask 255.255.255.0
gateway 192.168.18.2

 Step 2、配置Hosts

参考代码

sudo vim /etc/hosts
##host 文件 
192.168.18.155 SY-0355
192.168.18.217 SY-0217
192.168.18.225 SY-0225
192.168.18.226 SY-0226

step 3、关闭防火墙或者开放端口

## 关闭防火墙或者开放端口

sudo ufw disable

 

Step 4、安装 JDK 1.8

## 安装 JDK 1.8
 tar -zxvf jdk-8u131-linux-x64.tar.gz 

Step 5、安装Hadoop

## 安装 hadoop
 tar -zxvf hadoop-2.7.3.tar.gz 

 完成以上安装和配置后 可以负责Vmware镜像为4份，并根据规划修改IP地址。

四、Hadoop 配置

 hadoop配置主要包括 JDK、core-site.xml 、mapred-site.xml、hdfs-site.xml 、yarn-site.xml、slaves、fairscheduler.xml

Step  1-3 、JDk、core_site.xml 配置参考代码

 

 Step 3、 mapred-site.xml   配置参考代码 。

   Step 4、hdfs-site.xml 该部分配置比较核心，建议大家第一次配置手敲一边，印象会比较深刻

 

 Step 5 yarn-site.xml 配置  建议根据参考代码手敲

Step 6-7 、slaves配置和 fairscheduler.xml 参考代码

Step 8 、向各个节点同步配置文件 

##step 1.8 同步hadoop 配置文件
scp etc/hadoop/* wwllkk@SY-0217:/home/wwllkk/hadoop/hadoop-2.7.3/etc/hadoop
scp etc/hadoop/* wwllkk@SY-0225:/home/wwllkk/hadoop/hadoop-2.7.3/etc/hadoop
scp etc/hadoop/* wwllkk@SY-0226:/home/wwllkk/hadoop/hadoop-2.7.3/etc/hadoop

 

五 、 启动脚本参考代码

  

#########################STEP 2 hadoop 集群启动篇########################################

## step 2.1 启动 journalNode SY-0355 SY-0225 SY-0226

  sbin/hadoop-daemon.sh start journalnode
  
  sbin/hadoop-daemon.sh stop journalnode
 ###-------启动 NameNode---------------- 
 ## step 2.2 在【nn1】上对其格式化，并启动； SY-0217
 
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
  
## step 2.3  在 【nn2】上，格式化并同步nn1的元数据信息, SY-0355

bin/hdfs namenode -bootstrapStandby

## step 2.4  启动 【nn2】 SY-0355

sbin/hadoop-daemon.sh start namenode

##经过以上步骤，nn1和nn2都是standby状态

## step 2.5  切换【nn1】为active SY-0217
hdfs haadmin -transitionToActive nn1 

 ###-------启动 DataNode ----------------  sy-0225,sy-0226
## step 2.6 在【nn1】上启动所有的 DataNode
sbin/hadoop-daemon.sh start datanode

## ---------关闭hadoop集群---------
### step end 在【nn1】上执行以下命令
sbin/stop-dfs.sh