暑假第八周

资源调度
什么是资源调度? 我们为什么需要资源调度?资源服务器硬件资源，如: CPU、内存、硬盘、网络等
资源调度管控服务器硬件资源，提供更好的利用率
分布式资源调度管控整个分布式服务器集群的全部资源，整合进行统一调度

 

YARN架构
ResourceManager: 整个集群的资源调度者，负责协调调度各个程序所需的资源

NodeManager: 单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用。

部署说明
Hadoop HDFS分布式文件系统，我们会启动:NameNode进程作为管理节点DataNode进程作为工作节点
SecondaryNamenode作为辅助
同理，Hadoop YARN分布式资源调度，会启动:
ResourceManager进程作为管理节点
NodeManager进程作为工作节点
ProxvServer、JobHistorvServer这两个辅助节点

常用的进程启动命令如下:
一键启动YARN集群: $HADOOP HOME/sbin/start-yarn.sh会基于varn-sitexm中配置的varnresourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers文件配置的主机启动NodeManager
一键停止YARN集群: $HADOOP HOME/sbin/stop-yarn.sh
在当前机器，单独启动或停止进程
$HADOOP HOME/bin/yarn --daemon start stop resourcemanager nodemanager proxyserver
start和stop决定启动和停止
可控制resourcemanager、nodemanager、proxyserver三种进程历史服务器启动和停止
$HADOOP_HOME/bin/mapred --daemon start|stop historyserver

 

我们知道Hive是单机工具后，就需要准备一台服务器供Hive使用即可同时Hive需要使用元数据服务，即需要提供一个关系型数据库，我们也选择一台服务器安装关系型数据库即
所以:
服务
Hive本体 部署在node1
元数据服务所需的关系型数据库(课程选择最为流行的MySQL) 部署在node1
机器
为了简单起见，都安装到node1服务器

#更新密rpm --import https://repo.mysgl.com/RPM-GPG-KEY-mysgl-20222

# 安装Mysgl yum库

rpm -Uvh http://repo.mysql.com//mysgl57-community-release-el7-7.noarch.rpm4
# yum安装Mysgl
yum -y install mysql-community-server6
7# 启动Mysql设置开机启动
systemctl start mysgld
systemctl enable mysgld
# 检查MysgL服务状态10
systemctl status mysgld
#第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码125grep 'temporary password' /var/log/mysgld.og
#如果你想设置简单密码，需要降低Mysql的密码安全级别14
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;# 密码长度最低4位即可# 然后就可以用简单密码了 (课程中使用简单密码，为了方便，生产中不要这样)ALTER USER'root'a'localhost' IDENTIFIED BY 'root':grant all privileges on *,* to root@%" identified by 'root' with grant option

flush privileges