Hadoop搭建

Hadoop搭建

一.准备工作

• 三台虚拟机：master、node1、node2

• 时间同步

  ntpdate ntp.aliyun.com
  

• 调整时区

  cp  /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
  

• jdk1.8

  java -version
  

• 修改主机名

  三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名
  

• 关闭防火墙：systemctl stop firewalld

  • 查看防火墙状态：systemctl status firewalld
  • 取消防火墙自启：systemctl disable firewalld

• 静态IP配置

  • 直接使用图形化界面配置（不推荐）

  • 手动编辑配置文件进行配置

    1、编辑网络配置文件
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
    TYPE=Ethernet
    BOOTPROTO=static
    HWADDR=00:0C:29:E2:B8:F2
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.190.100
    GATEWAY=192.168.190.2
    NETMASK=255.255.255.0
    DNS1=192.168.190.2
    DNS2=223.6.6.6
    
    需要修改：HWADDR（mac地址,centos7不需要手动指定mac地址）
    		IPADDR（根据自己的网段，自定义IP地址）
    		GATEWAY（根据自己的网段填写对应的网关地址）
    
    2、关闭NetworkManager，并取消开机自启
    systemctl stop NetworkManager
    systemctl disable NetworkManager
    
    3、重启网络服务
    systemctl restart network
    

• 免密登录

  # 1、生成密钥
  ssh-keygen -t rsa
  # 2、配置免密登录
  ssh-copy-id master
  ssh-copy-id node1
  ssh-copy-id node2
  # 3、测试免密登录
  ssh node1
  

• 配置好映射文件：/etc/hosts

  192.168.190.100 master
  192.168.190.101 node1
  192.168.190.102 node2
  

二、搭建Hadoop集群

NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息

DataNode：真实数据存储的地方（block）

SecondaryNameNode：做持久化的时候用到

1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/
cd /urs/local/soft/packages/
# 解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profile

JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 重新加载环境变量
source /etc/profile

3.安装过后进行修改Hadoop配置

1）首先配置hadoop-env.sh,这里面要配置Java的路径

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

2）接着配置core-site.xml

fs.defaultFS： 默认文件系统的名称。其方案和权限决定文件系统实现的URI。uri的方案确定命名文件系统实现类的配置属性（fs.scheme.impl）。uri的权限用于确定文件系统的主机、端口等。

hadoop.tmp.dir：是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它，它的默认位置是在 /tmp/{$user}下面，注意这是个临时目录！！！

因此，它的持久化配置很重要的！ 如果选择默认，一旦因为断电等外在因素影响，/tmp/{$user}下的所有东西都会丢失。

fs.trash.interval：启用垃圾箱配置，dfs命令删除的文件不会立即从HDFS中删除。相反，HDFS将其移动到垃圾目录（每个用户在/user/<username>/.Trash下都有自己的垃圾目录）。只要文件保留在垃圾箱中，文件可以快速恢复。

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master01:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
    </property>

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>

3）接着配置hdfs-site.xml

dfs.replication：每个datanode上只能存放一个副本。我这里就2个datanode

dfs.permissions：如果为“true”，则在HDFS中启用权限检查。如果为“false”，则关闭权限检查，但所有其他行为保持不变。从一个参数值切换到另一个参数值不会更改文件或目录的模式、所有者或组。

  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

4）接着配置mapred-site.xml.template，因为这个是模板，所以首先要复制，然后在复制后的里面进行配置，复制后的为mapred-site.xml

• mapreduce.framework.name：用于执行MapReduce作业的运行时框架。

  mapreduce.jobhistory.address：Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过*mr-jobhistory-daemon.sh start historyserver命令来启动Hadoop历史服务器。我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888

  # 1、重命名文件
  cp mapred-site.xml.template mapred-site.xml
  # 2、修改
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  
      <property>  
          <name>mapreduce.jobhistory.address</name>  
          <value>master01:10020</value>  
      </property>  
  
      <property>  
          <name>mapreduce.jobhistory.webapp.address</name>  
          <value>master01:19888</value>  
      </property> 
  

5）接着配置yarn-site.xml的配置

​ yarn.resourcemanager.hostname：指定yarn主节点

yarn.nodemanager.aux-services：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序。默认值：“”

yarn.log-aggregation-enable：yarn日志聚合功能开关

yarn.log-aggregation.retain-seconds：日志保留时限，默认7天

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master01</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

6）最后配置salves的配置

4.接着复制Hadoop的文件到从节点上

cd /usr/local/soft/
scp -r hadoop-2.7.6/ node1:`pwd`
scp -r hadoop-2.7.6/ node2:`pwd`

4.启动之前要先进行格式化操作，而且一定要在master节点上做

接着到master里面的sbin目录下启动start-all.sh，进行启动

启动先启动hdfs相关的，接着启动与yarn相关的

hdfs

是主从架构，主节点叫namenode,从节点叫datenode,其次还有secondarynamenode,

yean

主从架构，主节点resourcemanager，从节点nodemanager

查看进程使用jps

5.最后通过192.168.253.10:50070浏览器访问，可以看得到下面的界面，至此Hadoop搭建完成！

访问yean的web界面

Hadoop中的常见的shell命令

1、如何将linux本地的数据上传到HDFS中呢？
hadoop fs -put 本地的文件 HDFS中的目录
hdfs dfs -put 本地的文件 HDFS中的目录

2、如何创建HDFS中的文件夹呢？
需求：想创建/shujia/bigdata17
hadoop fs -mkdir /shujia/bigdata17
hdfs dfs -mkdir /shujia/bigdata17

3、查看当前HDFS目录下的文件和文件夹
hadoop fs -ls /shujia/bigdata17
hdfs dfs -ls /shujia/bigdata17

4、将HDFS的文件下载到Linux本地中
hadoop fs -get HDFS中的文件目录 本地要存放文件的目录
hdfs dfs -get HDFS中的文件目录 本地要存放文件的目录

5、删除命令（如果垃圾回收站大小小于被删除文件的大小，直接被删除，不经过回收站）
hadoop fs -rm ....  # 仅删除文件
hadoop fs -rmr .... # 删除文件夹


6、移动文件
hadoop fs -mv 目标文件  目的地路径

7、HDFS内部复制文件
hadoop fs -cp [-p] ... ... # 如果想复制文件夹，加上-p参数

强制格式化集群（遇到问题的简单暴力的方法）

1、停止正在运行的集群

​ stop-all.sh

2、删除所有节点hadoop根目录中的tmp文件夹

3、在主节点（master）中hadoop的根目录中的bin目录下，重新格式化HDFS

./hdfs namenode -format

4、启动集群

​ start-all.sh

如果要从Hadoop下载文件到本地，Windows本地的host映射需要配置

6.关闭Hadoop服务使用命令（重点）

stop-all.sh
关闭过后要删除主从节点的tmp文件一定记得！！！！！
然后下次启动前一定要格式化
hdfs namenode -format
然后启动服务
start-all.sh
然后可以通过JSP查看一下进程
主从进程都查看一下，看看是否准确！！！
这样重新启动的就和刚搭建起来的一样，没有任何数据
如果要重新启动，直接关闭，然后在开启就好了，不需要删除tmp文件夹以及重新namenode格式化的