集群规划:
搭建的 hadoop 集群由 3 台服务器组成,分别叫做 master,salve1 和 slave2。其中 master 作为主节点,slave1 和 slave2 作为从节点。

二、网络配置:
1.查看 3 个节点的主机名是否和规划的一致:

[root@master~]# hostname
master

[root@slave1~]# hostname
slave1

[root@slave2~]# hostname
slave2
1
2
3
4
5
6
7
8
2.关闭 3 个节点的防火墙并禁止开机启动:

[root@master~]# systemctl stop firewalld
[root@master~]# systemctl disable firewalld

[root@slave1~]# systemctl stop firewalld
[root@slave1~]# systemctl disable firewalld

[root@slave2~]# systemctl stop firewalld
[root@slave2~]# systemctl disable firewalld
1
2
3
4
5
6
7
8
3.分别编辑 3 个节点的 /etc/hosts 文件,配置 IP 和域名:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.199.99 master
192.168.199.101 slave1
192.168.199.102 slave2

# ip在前 主机名在后,完成配置后 主机名可以代替ip使用
1
2
3
4
5
6
7
8
4.使用 ping 命令检测 3 个节点间网络是否畅通:

ping master
ping slave1
ping slave2
1
2
3
三、配置 SSH 免密登录:
在 Hadoop 的运行过程中需要不断的登录 3 个节点执行执行命。我们需要配置 SSH 免密登录,省去输入密码的操作,提高效率。

1.在 3 个节点分别执行 ssh-keygen 命令生成 SSH 操作需要的公钥和私钥。命令执行过程中需要输入 3 次回车:


2.在 3 个节点分别执行 ls /root/.ssh 命令查看生成的文件是否完整:

[root@master ~]# ls /root/.ssh
id_rsa id_rsa.pub

[root@slave1~]# ls /root/.ssh
id_rsa id_rsa.pub

[root@slave2~]# ls /root/.ssh
id_rsa id_rsa.pub

8.以上有任意一步出错可以删除 3 个节点上 /root/.ssh 文件夹,然后从第 1 步开始重新执行。

四、在 master 上安装 jdk
略:看基本操作 https://blog.csdn.net/ilovehua521/article/details/84257485

五、在 master 上安装 hadoop
1.上传 hadoop 的安装包到 /root 目录,并解压。
2.移动解压后的文件到 /usr/local/hadoop 文件夹。
3.在环境变量文件/etc/profile的最后添加以下内容:

export HADOOP_HOME=/usr/local/hadoop export
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

posted on 2021-09-23 20:13  sean1246  阅读(38)  评论(0编辑  收藏  举报