【大数据微职位笔记】模块03-大数据集群需要基本环境
目录
1.搭建虚拟机vmtest
2.搭建一主两从虚拟机master slave1 slave2
2.1 克隆3台虚拟机，创建hadoop-twq用户
2.2 配置IP和主机名
2.3 关闭NetworkManager
2.4 关闭防火墙
2.5 配置SSH免密登录
2.6 NTP时间同步
2.7 安装JDK
1. 搭建虚拟机vmtest
IP地址：192.168.253.138
网 关： 192.163.253.1
子网掩码：255.255.255.0
2. 搭建一主两从虚拟机master slave1 slave2
2.1 克隆3台虚拟机，创建hadoop-twq用户
（1）克隆vmtest创建新快照
关闭vmtest， 创建3个链接克隆，命名为master、slave1和slav2。
（2）使用root用户，创建新用户hadoop-twq，密码hadoop-twq。
useradd hadoop-twq
passwd hadoop-twq
id hadoop-twq
2.2 配置IP和主机名
网络配置，主机、三台虚拟机，均可互相通信，均可外网（外网yum安装使用）。
（1）使用root用户，配置静态 IP地址。master：[192.168.253.139] slave1：[192.168.253.140] slave2：[192.168.253.141]
vi /etc/sysconfig/network-scripts/ifcf-ens33 BOOTPROTO=static IPADDR=192.168.253.139 GATEWAY=192.168.253.1 DNS1=192.168.253.1 NETMASK=255.255.255.0 service network restart ping 192.168.253.1 ===>vmnet8地址
ping www.baidu.com
ping slave1和slave2
（2）使用root用户，更改主机名为master、slave1和slave2，以master为例。
vi /etc/sysconfig/network
hostname=master
vi /etc/hostname
master
（3）使用root用，增加IP和机器名称的映射；重启虚拟机。
vi /etc/hosts
192.168.253.139 master
192.168.253.140 slave1
192.168.253.141 slave2
shutdown -r now
2.3 关闭NetworkManager
master slave1 slave2，分别使用root用户，关闭NetworkManager。
systemctl status NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
service network restart
2.4 关闭防火墙
master slave1 slave2，分别使用root用户，关闭防火墙（status查看|stop停止|disable禁止）。
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
2.5 配置SSH免密登录
master配置SSH免密码登录slave（针对hadoop-twq用户设置）
（1） 使用hadoop-twq用户，切换到用户的根目录下创建隐藏目录.ssh，保存授权key
su - hadoop-twq
mkdir -p ~/.ssh
（2）生成密钥；将id_dsa.pub（公钥）追加到授权的key中；认证文件复制到其它节点。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys hadoop-twq@slave1:~/.ssh/
scp ~/.ssh/authorized_keys hadoop-twq@slave2:~/.ssh/
（3）每一个节点修改文件目录权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
（4）登录master，测试SSH免密登录。第一次连接需要输入yes确认，后续无需密码登录。
ssh slave1
ssh slave2
2.6 NTP时间同步
保证master和slave1 slave2时间一致即可。master做为ntp的server，slave1 slave2为client。
（1）master slave1 slave2，分别使用root用户，安装NTP
rpm -qa | grep ntp
yum -y install ntp
rpm -qa | grep ntp
（2）master，使用root用户，修改/etc/ntp.conf配置文件，启动NTP服务。
vi /etc/ntp.conf 增加配置,本地时钟作为时间供给源： server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 如果集群是在一个封闭的局域网内，可以屏蔽掉默认的server #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst 给指定的客户机访问ntp server的权限（192.168.253.0为子网段，） restrict 192.168.253.0 mask 255.255.255.0 nomodify notrap service ntpd start ==>启动NTP服务 ntpq -p ==> 查看当前同步的时间服务器，查看没问题就安装成功 chkconfig ntpd on ==>设置开机自启动 systemctl is-enabled chronyd ==>另外一个时间同步程序，需要disable掉 systemctl disable chronyd service ntpd status ==>查看服务是否启动
[restrict]参数设定方式： restrict [address] mask [netmask_ip] [parameter] 其中parameter的参数主要有： ignore ==>拒绝所有类型的ntp连接 nomodify ==>客户端不能使用ntpc与ntpq两支程式来修改服务器的时间参数 noquery ==>客户端不能使用ntpq、ntpc等指令来查询服务器时间，等于不提供ntp的网络校时 notrap ==>不提供trap这个远程时间登录的功能 notrust ==>拒绝没有认证的客户端 nopeer ==>不与其他同一层的ntp服务器进行时间同步
（3）slave1 slave2，使用root用户，修改/etc/ntp.conf配置文件，启动NTP服务。
vi /etc/ntp.conf
增加配置：
server master
注释不需要的server
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
service ntpd start ==>启动ntpd时间服务器
chkconfig ntpd on ==>开机自启动
（4）NTP启动后，不会立即同步，当offset为0才会进行同步。可使用如下命令查看相关同步信息。
ntpdc -c loopinfo ==> 查看与时间同步服务器的时间偏差 ntpq -p ==> 查看当前同步的时间服务器，查看没问题就安装成功了 date -s '2018-04-04 10:01:01' +'%F %T'==>修改时间 hwclock -w ==>将修改后的时间写入硬件时钟，确保重启有效 date ==>查看当前时间
当server与client之间的时间误差过大时（可能是1000秒），处于对修改时间可能对系统和应用带来不可预知的问题，NTP将停止时间同步！
2.7 安装JDK
master slave1 slave2，分别安装配置JDK。以master为例。
（1）root用户，上传安装文件和解压
上传安装文件到/usr/local/lib
tar -xvf jdk-8u151-linux-x64.tar.gz ==>解压
（2）hadoop-twq用户，修改环境变量
vi ~/.bash_profile
export JAVA_HOME= /usr/local/lib/jdk1.8.0_151
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source ~/.bash_profile
java -version
java
javac
jps
2.8Window主机增加hosts
C:\Windows\System32\drivers\etc\hosts 192.168.253.139 master 192.168.253.140 slave1 192.168.253.141 slave2
常见错误处理：
1、执行 service network restart 出现以下错误
Restarting network (via systemctl): Job for network.service failed. See ‘systemctl status network.service’ and ‘journalctl -xn’ for details.
原因分析：与 NetworkManager 服务有冲突。
处理方式：关闭 NetworkManger 服务 service NetworkManager stop，并且禁止开机启动 chkconfig NetworkManager off ，重新执行service network restart ，使用service network status查看当前状态。
