Hadoop集群模式安装笔记

前言

Hadoop集群=HDFS集群+YARN集群
特点：两个集群逻辑上分离，通常物理上在一起；并且都是标准的主从架构集群

Hadoop安装

方式一源码编译安装
方式二官方编译安装包 (✔)

环境

Centos +虚拟机

集群规划

服务器	运行角色
node1.itcast.cn	namenode datanode resourcemanager nodemanager
node2.itcast.cn	secondarynamenode datanode nodemanager
node3.itcast.cn	datanode nodemanager

服务器环境准备

1、主机名-allservers

/* 建立服务器的主机名/
vim /etc/hostname
添加主机名
/验证：*/
hostname或cat /etc/hostname、

2、Hosts映射-allservers

/建立服务器主机名和IP地址映射/
vim /etc/hosts
添加IP地址 主机名1 主机名2..
/验证：/
cat /etc/hosts

3、集群时间同步-allservers

/安装ntpdate命令/
yum -y install ntpdate (若有可跳过)
/同步时间/
ntpdate ntp4.aliyun.com

4、关闭防火墙-allservers

systemctl stop firewalld.service #停止firewalld服务
systemctl disable firewalld.service #开机禁用firewalld服务

5、SSH免密登录-node1

Hadoop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护进程，这个过程可用通过SSH登录实现。

只需要配置node1至node1、node2、node3即可

node1生成公钥私钥--一直确认

ssh-keygen
#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
#验证,进行登录
ssh node1
ssh node2
ssh node3

4、创建存放路径

mkdir -p /export/server/ #软件安装路径
mkdir -p /export/data/ #数据存储路径
mkdir -p /export/sofrware/ #安装包存放路径

5、安装JDK-allservers

JDK安装包上传至/export/server/
#解压
tar -zxvf jdk-8u241-linux-x64.tar.gz
#解压文件：jdk1.8.0_241
#解压后的文件分发同步到node2、node3,路径保持一致
scp -r /export/server/jdk1.8.0_241 root@node2:/export/server/
scp -r /export/server/jdk1.8.0_241 root@node3:/export/server/
-------------------------------------------------------------
#配置环境变量
vim /etc/profile
#追加
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=\(PATH:\)JAVA_HOME/bin
export CLASSPATH=.:\(JAVA_HOME/lib/dt.jar:\)JAVA_HOME/lib/tools.jar
#同步分发到node2,node3
scp /etc/profile root@node2:/etc/profile
scp /etc/profile root@node3:/etc/profile
#重新加载环境变量文件
source /etc/profile
#验证
java -version

6、安装Hadoop-allservers

上传Hadoop安装包到node1 /export/server

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
#解压
tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
------------------------------------------------------
#修改配置文件:/hadoop-3.3.0/etc/hadoop
hadoop-env.sh
core-site.xml #核心模块配置
hdfs-site.xml #hdfs文件系统模块配置
mapred-site.xml #MapReduce模块配置
yarn-site.xml #yarn模块配置
workers
#分发同步hadoop安装包
cd /export/server
scp -r hadoop-3.3.0 root@node2:\(PWD scp -r hadoop-3.3.0 root@node3:\)PWD
------------------------------------------------------
#配置环境变量
vim /etc/profile
#追加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=\(PATH:\)HADOOP_HOME/bin:$HADOOP_HOME/sbin
#重载配置文件
source /etc/profile
#分发同步
...
#验证
hadoop

7、Hadoop集群启动

1、 首次启动HDFS之前需要format操作;format本质上是初始化工作，进行HDFS清理和准备工作
2. format只能进行一次 后续不再需要;
3. 如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器hadoop.tmp.dir目录重新format解决
命令：hdfs namenode -format #node1,namenode进程在node1 下
验证：

Hadoop集群的启停

1、手个逐个进程启停

每台机器上每次手动启动关闭一个角色进程,可以精准控制每个进程启停，避免群起群停。

HDFS集群：
#hadoop2.x版本命令
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
#hadoop3.x版本命令
hdfs --daemon start|stop namenode|datanode|secondarynamenode
YARN集群
#hadoop2.x版本命令
yarn-daemon.sh start|stop resourcemanager|nodemanager
#hadoop3.x版本命令
yarn --daemon start|stop resourcemanager|nodemanager

2、shell脚本一键启停

一台机器上操作，集群内所有机器都会做配置
在node1上，使用软件自带的shell脚本一键启动。前提：配置好机器之间的SSH免密登录和workers文件

HDFS集群

start-dfs.sh
stop-dfs.sh
#YARN集群
start-yarn.sh
stop-yarn.sh
#Hadoop集群
start-all.sh
stop-all.sh

验证集群启动正常

jps #显示java相关进程，查看进程是否启动
/export/server/hadoop-3.3.0/logs/*.log #查看hadoop启动日志
------------------------------------------
闪退则是配置文件出错

Hadoop WebUI

HDFS集群：http://namenode_host:9870
其中namenode_host是namenode运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts
YARN集群：http://resourcemanager_host:8088
其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts
Hosts映射

备注：

单机安装是本机作为集群
伪分布式安装是指在一台机器上模拟一个小的集群，但是集群只有一个节点。
完全分布式安装可用通过安装多个Linux虚拟机来实现。