hadoop3.1 分布式集群部署

1.环境准备

Centos7.5系统

hadoop版本3.1

1.1资源分配

主机名	地址	角色
node01	10.10.0.11	namenode
node02	10.10.0.12	secondarynamenode datanode
node03	10.10.0.13	datanode
node04	10.10.0.14	datanode

1.2.所有节点分别配置免密登录 略

 

说明：免密配好后以下都是在node01上执行的

1.3.安装pssh配置 工具

yum install pssh -y

[root@node01 ~]# cat ~/hosts.list 
node01:22
node02:22
node03:22
node04:22

 

1.4.编辑node1的hosts文件

10.10.0.11 node01
10.10.0.12 node02
10.10.0.13 node03
10.10.0.14 node04

 

1.5.配置jdk的环境变量 略 （所有节点）

 

1.6.分发hosts配置

pscp.pssh -h hosts.list /etc/hosts /etc/

 

2.配置hadoop

所有配置均在/opt/hadoop-3.1.1/etc/hadoop 目录下完成

 

2.1.编辑hadoop-env.sh  添加如下配置

echo $JAVA_HOME   #根据得到路径配置 hadoop-env.sh 里JAVA_HOME的路径

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

 

2.2.编辑core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        #配置默认的主节点为node01
        <value>hdfs://node01:9000</value>
    </property>
    #更改临时目录，将原先存到/tmp目录下改存放到/var/hadoop/full
    #namenode的元数据，datanode的block，也默认保存在这个临时目录
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/full</value>
    </property>
</configuration>

 

2.3.编辑hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name> #代表副本
        <value>2</value>
    </property>
 
    <property>
        <name>dfs.namenode.secondary.http.address</name> #代表从节点的访问地址
        <value>node02:9868</value>
    </property>
</configuration>

 

2.4.编辑worker 

node02
node03
node04

 

3使用pssh工具批量分发配置好的 hadoop安装包

pscp.pssh -h  ~/hosts.list -r /opt/hadoop-3.1.1 /opt/

 

4.启动hadoop分布式集群

4.1.配置hadoop的环境变量编辑/etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.1
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

4.2.分发修改后的配置

pscp.pssh -h  ~/hosts.list  /etc/profile /etc/

 

4.3.批量执行生效配置

pssh -h hosts.list -i 'source /etc/profile'

 

4.4.验证hadoop环境变量配置

hdfs --help #能显示帮助信息表示hadoop环境配置成功，就不必在使用在绝对路径下执行相关命令了

 

4.5.在namenode节点上（node01）格式化

[root@node01 ~]# hdfs namenode -format

4.6进入到对应的存储目录查看

[root@node01 current]# cd /var/hadoop/full/dfs/name/current/
[root@node01 current]# ll
total 16
-rw-r--r-- 1 root root 389 Dec 13 00:32 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Dec 13 00:32 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Dec 13 00:32 seen_txid
-rw-r--r-- 1 root root 214 Dec 13 00:32 VERSION

 

4.6.在node1上启动所有节点所有角色

[root@node01 ~]# kill -9 2755
[root@node01 ~]# start-dfs.sh
Starting namenodes on [node01]
Last login: Thu Dec 13 01:26:04 CST 2018 on pts/0
Starting datanodes
Last login: Thu Dec 13 01:27:00 CST 2018 on pts/0
Starting secondary namenodes [node02]
Last login: Thu Dec 13 01:27:02 CST 2018 on pts/0

 

4.7.在各个节点查看所属角色

各节点的角色符合配置定义的。

 

4.8.网页查看集群状态