hadoop学习之路1--centos7群集安装

一、              安装centos7

1、  设置硬盘为单文件40G、CPU 2核、内存2G。其他默认。

2、  安装时选择gnome,具备操作界面,并增加hadoop的账号。

a)         Root密码为centos7x64

b)         hadoop的密码为123

安装介质为:CentOS-7-x86_64-DVD-1810。

3、  使用root账户登陆

4、  配置网络,将自动获取地址修改为手动。Ip地址修改为 192.168.79.100

4、使用“终端”关闭防火墙。

firewall-cmd --state             看看防火墙状态

systemctl stop firewalld.service       关闭防火墙

systemctl disable firewalld.service       禁用防火墙

 

 

5、  安装java,查看Java版本

java -version

 

 

卸载openjdk

查看已安装文件:rpm -qa | grep java

 

 

获取权限:su root

开始删除:

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64

查看删除情况:java –version

 

 

下载java12版本。通过界面在/usr下建立java文件夹。将java包copy到文件夹下,解压缩,最终形成目录:/usr/java/ jdk-12.0.2

 

找到:/etc/ profile 文件,并打开它,在文档末尾增加

export JAVA_HOME=/usr/java/jdk-12.0.2

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

 

激活配置文件:source /etc/profile

 

 

6、通过VM 制作多个克隆

主节点:hadoopM

从节点1:hadoopS1

从节点2:hadoopS2

 

7、修改IP地址,

将每个机器的IP修改,为100~102;其他保持不变,具体参数见下表

8、修改主机名

a.修改hostname

①# hostname 

查看当前主机名

②#hostnamectl set-hostname  hadoopM

修改主机名

③#reboot

重启

 

 

方法二:直接界面修改:

 

 

9、修改hosts文件

输入vi /etc/hosts命令:

打开文件后,按i进入编辑模式,最后插入

192.168.79.100   hadoopM

192.168.79.101   hadoopS1

192.168.79.102   hadoopS2

按esc进入命令模式,输入:wq保存并退出。然后重启电脑

 

vm名称

名称

hostname

ip

子网掩码

网关

CentOS7x64M

Hadoop主节点

hadoopM

192.168.79.100

255.255.255.0

192.168.79.2

CentOS7x64S1

Hadoop从节点1

hadoopS1

192.168.79.101

255.255.255.0

192.168.79.2

CentOS7x64S2

Hadoop从节点2

hadoopS2

192.168.79.102

255.255.255.0

192.168.79.2

 

 

 

 

 

 

 

 

 

 

方法二:

 

10、配置免密登陆。

查看ssh状态(三台机器都要执行):systemctl status sshd.service

 

设置开启自启动:systemctl enable sshd.service

A、生成秘钥(三台机器都要执行):ssh-keygen -t rsa

(查看文件夹文件:进入.ssh目录。cd /root/.ssh)

 

 

B、设置权限(三台机器都要执行):
cd ~
chmod 700 .ssh                                                                                                
chmod 600 .ssh/*                                                                                              
ls -la .ssh  

 

 

 

C、把公钥文件放入授权文件中(三台机器都要执行)

cd /root/.ssh

cat id_rsa.pub >> authorized_keys

 

 

 

配置:ssh hadoops1

注意网络是否开启。如果未开启可能会出现以下情况。或者说ssh服务未开启。Ssh使用的是22的端口

 

 

 

D、将其他机器的公钥拷贝到第一台(hadoopm)机器authorized_keys文件中:

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip

 

 

F、将第一台机器(hadoopm)的authorized_keys复制到其他机器

scp /root/.ssh/authorized_keys ip:/root/.ssh/

 

 

G、配置完毕后测试免密登陆

ssh hadoops1

 

 

 

 

参考资料:

https://blog.csdn.net/hliq5399/article/details/78193113 史上最详细的Hadoop环境搭建

https://www.cnblogs.com/mengzj233/p/9756099.html  Centos7 搭建 hadoop3.1.1 集群教程

https://blog.csdn.net/code__online/article/details/80178032  hadoop集群搭建(超详细版)

https://www.cnblogs.com/sxdcgaq8080/p/7492426.html【Linux】CentOS7下安装JDK详细过程

https://www.jb51.net/article/94599.htm   Linux下实现免密码登录(超详细)

https://www.cnblogs.com/koudaiyoutang/p/10212814.html   centos7:ssh免密登陆设置

 

posted @ 2019-08-27 14:03  cspfeng  阅读(237)  评论(0编辑  收藏  举报
测试