hadoop六：搭建hadoop集群

 

搭建hadoop集群至少需要3台服务器。

克隆两台服务器：

1.克隆虚拟机

2.克隆后的配置修改：

• 修改网卡信息 
  •  vim /etc/udev/rules.d/70**-net**
  •  修改name
• 修改主机名：
  • 临时修改 hostname newname
  • 永久修改 vim /etc/sysconfig/network  ，修改其中的hostname
• 修改ip信息
  • vim /etc/sysconfig/network-scripts/ifcfg-eth0， 修改其中的uuid，ipaddr，hwaddr
• 修改映射
• vim /etc/host   在其中添加192.168.216.112 hadoop2 www.hadoop02.com　　
• 将三台服务器的ip和dns都添加上

 

 

搭建hadoop集群：

local (standalone) mode

pseudo-distributed mode

fully-distributed mode

 

hadoop全分布式环境搭建：

• 规划服务器与服务：HDFS文件系统、YARN"云操作系统"
• 修改配置文件，设置服务运行机器节点
• 分发hadoop目录至各个机器节点
• 依据官方集群安装文档，分别启动各节点相应服务
• 测试HDFS、YARN、MAPREDUCE、WEB UI监控集群
• 集群基准测试
• 配置主节点至从节点SSH 无密钥登录

 服务器规划：

主机名称  IP地址 功能

hadoop01(master) 192.168.10.11 NameNode、DataNode、ResourceManager、NodeManager

hadoop02(slave1) 192.168.10.12 DataNode、NodeManager

hadoop03(slave2) 192.168.10.13 DataNode、NodeManager

所有服务器都需要配置：

1. JDK     2. SSH免登录    3.Hadoop

 

 

 

 

 cd $HADOOP_HOME

vim ./etc/hadoop/hadoop-env.sh  配置java的位置，前面已配置

vim ./etc/hadoop/core-site.xml

 

 vim ./etc/hadoop/hdfs-site.xml

 

cp ./etc/hadoop/mapred-site.xml.template  ./etc/hadoop/mapred-site.xml

vim  ./etc/hadoop/mapred-site.xml

vim  ./etc/hadoop/yarn-site.xml

 

 vim  ./etc/hadoop/slaves 

 

 分发：

配置完毕，远程分发到别的服务器：

以上六个配置文件都是在hadoop01上做的，配置完成后，需要远程分发到其它的服务器上。
# 删除其它服务器上的hadoop
#切换到hadoop02
rm -rf /usr/local/hadoop-2.9.1
which hadoop  # 确认已删除hadoop
#切换到hadoop03
rm -rf /usr/local/hadoop-2.9.1


# 分发到其它服务器
# 切换到hadoop01
scp -r ../hadoop-2.9.1/  hadoop02:/usr/local/
# 如果出现找到hadoop02服务器的错误，需确认/etc/hosts配置文件中，是否配置了其它服务器的dns

 

 

启动集群之前，要先在namenode服务器上格式化，只需要一次即可

#在namenode服务器上格式化
hadoop namednode -format

 

启动集群方式有三种：

• 全启动：start-all.sh
• 模块启动：start-dfs.sh start-yarn.sh
• 单个启动：
• hadoop-daemon.sh start/stop namenode  ; 
• hadoop-daemons.sh start/stop datanode
• yarn-daemon.sh start/stop namenode
• yarn-daemons.sh start/stop namenode
• mr-jobhistory-daemon.sh start/stop

示例，模块启动--dfs：

#在hadoop01服务器上，使用模块启动的方式启动集群
./sbin/start-dfs.sh

 

集群启动后，测试相应的状态是否成功：

1.在所有服务器上，查看进程是否成功启动hadoop集群的所有服务器：jps

2.查看主服务器上，对应的模块的web ui监控是否正常： http://192.168.216.111：50070

3.上传文件测试

http://192.168.216.111：50070登录后，unity-->ubrowse directory

hdfs dfs -ls /

hdfs dfs -put ./上传的文件 /

查看刚上传的文件： hdfs dfs cat /上传的文件

示例，模块启动--yarn：

在主服务器上启动yarn：start-yarn.sh

 

查看集群状态web-ui监控：http://192.168.216.11:8088/cluster

测试yarn集群是否ok，跑一个mapreduce，统计某个文件中单词出现的次数：

yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar  wordcount /刚才上传的文件 /output/00

验证上面的运行结果：

　　在http://192.168.216.11:8088/cluster查看状态。

　　hdfs dfs -ls /out  查看刚才输出结果的文件