Hadoop的运行模式——第二部分

Hadoop 运行模式——第二部分

SSH 免密配置

配置 SSH

  • 基本语法

    ssh + IP地址

  • 退出语法

    exit

无密匙配置

  • 免密登录原理

    5JF9rF.png
    5JF9rF.png
    • 在服务器 A 生成密钥对分为公钥和私钥
    • 将公钥分发给服务器 B 就可以实现免密登录
    • 可以想象为将“间谍”安排到需要控制的服务器主机

  • 生成公钥和私钥

    cd /home/username/.ssh
    ssh-keygen -t rsa

    注意需要先安装 SSH 之后再.ssh(隐藏文件夹)的目录执行如下代码

    之后敲击三个回车就可以生成两个文件

    私钥：id_rsa

    公钥：id_rsa.pub

  • 将公钥拷贝到需要免密登录的目标机器上

    对自己的主机配置的：

    ssh-copy-id hadoop102

    对其他主机配置的：

    ssh-copy-id hadoop103

    ssh-copy-id hadoop104

    每个用户 ssh 免密登录是唯一的

    因此除了所有的节点需要配置 SSH 免密登陆外

    Hadoop102 的 root 用户也需要配置 SSH 免密登录

  • .ssh 文件夹下（~/.ssh）的文件功能解释

    known_hosts 记录 ssh 访问过计算机的公钥（public key）
    id_rsa 生成的私钥
    id_rsa.pub 生成的公钥
    authorized_keys 存放授权过的无密登录服务器公钥

集群部署

集群部署规划

注意：

  • NameNode 和 SecondaryNameNode 不要安装在同一个节点

  • ResourceManger 也很消耗内存，不要和 NameNode、SecondaryNameNode 安装在同一个节点

hadoop102 hadoop103 hadoop104
HDFS NameNode DataNode DataNode SecondaryNameNode DataNode
YARN NodeManager ResourceManager NodeManager NodeManager

配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

  • 默认配置文件

    要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置
    [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml
    [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml
    [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml
    [mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

  • 自定义配置文件

    ​ core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

配置集群

  • 核心配置文件

    • core-site.xml

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>
          <!-- 指定NameNode的地址 -->
          <property>
              <name>fs.defaultFS</name>
              <value>hdfs://hadoop102:8020</value>
          </property>

          <!-- 指定hadoop数据的存储目录 -->
          <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/module/hadoop-3.1.3/data</value>
          </property>

          <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
          <property>
              <name>hadoop.http.staticuser.user</name>
              <value>atguigu</value>
          </property>
      </configuration>

    • hdfs-site.xml

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>
       <!-- nn web端访问地址-->
       <property>
              <name>dfs.namenode.http-address</name>
              <value>hadoop102:9870</value>
          </property>
       <!-- 2nn web端访问地址-->
          <property>
              <name>dfs.namenode.secondary.http-address</name>
              <value>hadoop104:9868</value>
          </property>
      </configuration>

    • yarn-site.xml

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>
          <!-- 指定MR走shuffle -->
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>

          <!-- 指定ResourceManager的地址-->
          <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>hadoop103</value>
          </property>

          <!-- 环境变量的继承 -->
          <property>
              <name>yarn.nodemanager.env-whitelist</name>
              <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
          </property>
      </configuration>

    • mapred-site.xml

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>
       <!-- 指定MapReduce程序运行在Yarn上 -->
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
      </configuration>
在集群上分发配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

查看配置文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

  • 配置 workers

    worker 文件记录了集群的所有节点的主机名字（完成映射后实际上是 IP 地址）

    该文件要求严格不允许有空格和空行

    vim yourpath/workers

    加入以下内容

    hadoop102

    hadoop103

    hadoop104

    • 同步数据

      xsync /opt/module/hadoop-3.1.3/etc

  • 启动集群

    如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）

    ## 格式化NameNode
    hdfs namenode -format
    ## 启动HDFS
    start-dfs.sh
    ## 在配置了ResourceManger的节点hadoop103启动YARN
    hadoop103: start-yarn.sh

    • Web 查看 HDFS 的 NameNode

      • 浏览器中输入：http://hadoop102:9870
      • 查看 HDFS 上存储的数据信息

    • Web 端查看 YARN 的 ResourceManager

      • 浏览器中输入：http://hadoop103:8088
      • 查看 YARN 上运行的 Job 信息

  • 集群基本测试

    # 上传文件集群
    ##上传小文件
    hadoop fs -mkdir /input
    hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
    ##上传大文件
    hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
    ## HDFS在磁盘存储文件路径
    `hadoop+路径/指定配置文件路径（data）/dfs/data/current/BP-~/current/finalized/subdir0/subdir0`
    ## 拼接文件内容
    cat blk_1073741836>>tmp.tar.gz #重定向
    cat blk_1073741837>>tmp.tar.gz #重定向
    tar -zxvf tmp.tar.gz
    ## 执行wordcount程序
    hadoop jar hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

  • 配置mapred-site.xml

    vim mapred-site.xml

    在该文件下增加如下配置：

    mapreduce.jobhistory.address

    hadoop102:10020

    mapreduce.jobhistory.webapp.address

    hadoop102:19888

  • 分发配置

    xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

  • 在 Hadoop102 启动历史服务器

    mapred --daemon start historyserver

  • 查看历史服务器是否启动

    jps

配置日志的聚集

5JuIFU.png
5JuIFU.png

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

  • 配置 yarn-site.xml

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

  • 分发配置

    xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

  • 关闭 NodeManager 、ResourceManager 和 HistoryServer

    sbin/stop-yarn.sh

    mapred --daemo stop historyserver

  • 启动 NodeManager 、ResourceManage 和 HistoryServer

    start-yarn.sh

    mapred --daemon start historyserver

  • 删除 HDFS 上已经存在的输出文件

    hadoop fs -rm -r /output

  • 执行 WordCount 程序

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

  • Web 查看日志

集群启动/停止方式总结

  • 各个模块分开启动/停止（配置 ssh 是前提）常用

    • 整体启动/停止 HDFS

      start-dfs.sh/stop-dfs.sh

    • 整体启动/停止 YARN

      start-yarn.sh/stop-yarn.sh

  • 各个服务组件逐一启动

    • 分别启动/停止 HDFS 组件

      hdfs --daemon start/stop namenode/datanode/secondarynamenode

    • 启动/停止 YARN

      yarn --daemon start/stop resourcemanager/nodemanager

编写 Hadoop 集群常用脚本

  • Hadoop 集群启动停止脚本

    cd ~/bin

    vim myhadoop.sh

    脚本内容如下：

    #!/bin/bash

    if [ $# -lt 1 ]

    then

    echo "No Args Input..."

    exit ;

    fi

    case $1 in

    "start")

    ​ echo " =================== 启动 hadoop 集群 ==================="

    ​ echo " --------------- 启动 hdfs ---------------"

    ​ ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"

    ​ echo " --------------- 启动 yarn ---------------"

    ​ ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"

    ​ echo " --------------- 启动 historyserver ---------------"

    ​ ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"

    ;;

    "stop")

    ​ echo " =================== 关闭 hadoop 集群 ==================="

    ​ echo " --------------- 关闭 historyserver ---------------"

    ​ ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"

    ​ echo " --------------- 关闭 yarn ---------------"

    ​ ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"

    ​ echo " --------------- 关闭 hdfs ---------------"

    ​ ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"

    ;;

    *)

    echo "Input Args Error..."

    ;;

    esac

    赋予脚本执行权限

    chmod +x myhadoop.sh

  • 查看三台服务器的 Java 进程脚本：jpsall

    cd ~/bin

    vim jps

    脚本内容如下

    #!/bin/bash

    for host in hadoop102 hadoop103 hadoop104

    do

    ​ echo =============== $host ===============

    ​ ssh $host jps

    done

    赋予脚本执行权限

    chmod +x jpsall

  • 分发脚本

    xsync /home/atguigu/bin/

常用端口号说明

端口名称 Hadoop2.x Hadoop3.x
NameNode 内部通信端口 8020 / 9000 8020 / 9000/9820
NameNode HTTP UI 50070 9870
MapReduce 查看执行任务端口 8088 8088
历史服务器通信端口 19888 19888

集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

  • 需求

    找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用 1 分钟同步一次。

    5JuIFU.png
    5JuIFU.png

  • 时间服务器配置（必须 root 用户）

    • 查看所有节点 ntpd 服务状态和开机自启动状态

      [atguigu@hadoop102 ~]$ sudo systemctl status ntpd

      [atguigu@hadoop102 ~]$ sudo systemctl start ntpd

      [atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

    • 修改 hadoop102 的 ntp.conf 配置文件

      [atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

      修改内容如下

      • 修改 1（授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查询和同步时间）

      #restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

      为 restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

      • 修改 2（集群在局域网中，不使用其他互联网上的时间）

      server 0.centos.pool.ntp.org iburst

      server 1.centos.pool.ntp.org iburst

      server 2.centos.pool.ntp.org iburst

      server 3.centos.pool.ntp.org iburst

      为

      **#**server 0.centos.pool.ntp.org iburst

      **#**server 1.centos.pool.ntp.org iburst

      **#**server 2.centos.pool.ntp.org iburst

      **#**server 3.centos.pool.ntp.org iburst

      • 添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

      server 127.127.1.0

      fudge 127.127.1.0 stratum 10

    • 修改 hadoop102 的/etc/sysconfig/ntpd 文件

      [atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

      增加内容如下（让硬件时间与系统时间一起同步）

      SYNC_HWCLOCK=yes

    • 重新启动 ntpd 服务

      [atguigu@hadoop102 ~]$ sudo systemctl start ntpd

    • 设置 ntpd 服务开机启动

      [atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

  • 其他机器配置

    • 关闭所有节点上 ntp 服务和自启动

      [atguigu@hadoop103 ~]$ sudo systemctl stop ntpd

      [atguigu@hadoop103 ~]$ sudo systemctl disable ntpd

      [atguigu@hadoop104 ~]$ sudo systemctl stop ntpd

      [atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

    • 在其他机器配置 1 分钟与时间服务器同步一次

      [atguigu@hadoop103 ~]$ sudo crontab -e

      编写定时任务如下：

      _/1 _ * * * /usr/sbin/ntpdate hadoop102

    • 修改任意机器时间

      [atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

    • 1 分钟后查看机器是否与时间服务器同步

      [atguigu@hadoop103 ~]$ sudo date

posted @ 2021-10-16 18:50  逆十字  阅读(123)  评论(0)    收藏  举报