搭建hadoop集群

一、搭建Hadoop集群

NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息

DataNode：真实数据存储的地方（block）

SecondaryNameNode：做持久化的时候用到

进程master（主）node1（从）node2（从）
NameNode √    
SecondaryNameNode √    
ResourceManager √    
DataNode   √ √
NodeManager   √ √

1.1 完全分布式搭建

1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/
cd /urs/local/soft/packages/
# 解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profile
​
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
​
# 重新加载环境变量
source /etc/profile

3、修改Hadoop配置文件

  • cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

  • core-site.xml

    fs.defaultFS： 默认文件系统的名称。其方案和权限决定文件系统实现的URI。uri的方案确定命名文件系统实现类的配置属性（fs.scheme.impl）。uri的权限用于确定文件系统的主机、端口等。

    hadoop.tmp.dir：是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它，它的默认位置是在 /tmp/{$user}下面，注意这是个临时目录！！！

    因此，它的持久化配置很重要的！ 如果选择默认，一旦因为断电等外在因素影响，/tmp/{$user}下的所有东西都会丢失。

    fs.trash.interval：启用垃圾箱配置，dfs命令删除的文件不会立即从HDFS中删除。相反，HDFS将其移动到垃圾目录（每个用户在/user/<username>/.Trash下都有自己的垃圾目录）。只要文件保留在垃圾箱中，文件可以快速恢复。

        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master01:9000</value>
        </property>
    ​
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
        </property>
    ​
        <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
        </property>

  • hadoop-env.sh

    export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

    • hdfs-site.xml

    • dfs.replication：每个datanode上只能存放一个副本。我这里就2个datanode

      dfs.permissions：如果为“true”，则在HDFS中启用权限检查。如果为“false”，则关闭权限检查，但所有其他行为保持不变。从一个参数值切换到另一个参数值不会更改文件或目录的模式、所有者或组。

          <property>
              <name>dfs.replication</name>
              <value>1</value>
          </property>
      ​
          <property>
              <name>dfs.permissions</name>
              <value>false</value>
          </property>

    • mapred-site.xml.template

    • mapreduce.framework.name：用于执行MapReduce作业的运行时框架。

      mapreduce.jobhistory.address：Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过*mr-jobhistory-daemon.sh start historyserver命令来启动Hadoop历史服务器。我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888

      # 1、重命名文件
      cp mapred-site.xml.template mapred-site.xml
      # 2、修改
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
      ​
          <property>  
              <name>mapreduce.jobhistory.address</name>  
              <value>master01:10020</value>  
          </property>  
      ​
          <property>  
              <name>mapreduce.jobhistory.webapp.address</name>  
              <value>master01:19888</value>  
          </property>

    • slaves

    • 从节点的信息

      node1
      node2

    • yarn-site.xml

    • yarn.resourcemanager.hostname：指定yarn主节点

    yarn.nodemanager.aux-services：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序。默认值：“”

    yarn.log-aggregation-enable：yarn日志聚合功能开关

    yarn.log-aggregation.retain-seconds：日志保留时限，默认7天

          <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>master01</value>
          </property>
      
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
      
          <property>
              <name>yarn.log-aggregation-enable</name>
              <value>true</value>
          </property>
      
          <property>
              <name>yarn.log-aggregation.retain-seconds</name>
              <value>604800</value>
          </property>

    4、分发Hadoop到node1、node2

    cd /usr/local/soft/
    scp -r hadoop-2.7.6/ node1:`pwd`
    scp -r hadoop-2.7.6/ node2:`pwd`

    5、格式化namenode（第一次启动的时候需要执行，以及每次修改核心配置文件后都需要）

    hdfs namenode -format

     

    6、启动Hadoop集群

    start-all.sh

    7、检查master、node1、node2上的进程

    • master：

      [root@master soft]# jps
      2597 NameNode
      2793 SecondaryNameNode
      2953 ResourceManager
      3215 Jps

    • node1：

      [root@node1 jdk1.8.0_171]# jps
      11361 DataNode
      11459 NodeManager
      11559 Jps

    • node2：

      [root@node2 ~]# jps
      11384 DataNode
      11482 NodeManager
      11582 Jps

    8、访问HDFS的WEB界面

    http://master:50070

     

    9、访问YARN的WEB界面

    http://master:8088
     

    Hadoop中的常见的shell命令

  •  

    1、如何将linux本地的数据上传到HDFS中呢？

  • hadoop fs -put 本地的文件 HDFS中的目录
    hdfs dfs -put 本地的文件 HDFS中的目录

    2、如何创建HDFS中的文件夹呢？
    需求：想创建/shujia/bigdata17
    hadoop fs -mkdir /shujia/bigdata17
    hdfs dfs -mkdir /shujia/bigdata17

    3、查看当前HDFS目录下的文件和文件夹
    hadoop fs -ls /shujia/bigdata17
    hdfs dfs -ls /shujia/bigdata17

    4、将HDFS的文件下载到Linux本地中
    hadoop fs -get HDFS中的文件目录 本地要存放文件的目录
    hdfs dfs -get HDFS中的文件目录 本地要存放文件的目录

    5、删除命令（如果垃圾回收站大小小于被删除文件的大小，直接被删除，不经过回收站）
    hadoop fs -rm .... # 仅删除文件
    hadoop fs -rmr .... # 删除文件夹


    6、移动文件
    hadoop fs -mv 目标文件 目的地路径

    7、HDFS内部复制文件
    hadoop fs -cp [-p] ... ... # 如果想复制文件夹，加上-p参数

     

     

    强制格式化集群（遇到问题的简单暴力的方法）

    1、停止正在运行的集群

    stop-all.sh

    2、删除所有节点hadoop根目录中的tmp文件夹

    3、在主节点（master）中hadoop的根目录中的bin目录下，重新格式化HDFS

    ./hdfs namenode -format

    4、启动集群

    start-all.sh

     

posted @ 2022-08-24 15:00  ~小小~  阅读(140)  评论(0)    收藏  举报