Hadoop系统环境准备

新装的虚拟机还不能直接使用，需要为它配置环境，主要配置网卡、DNS、主机名、hosts、ssh、防火墙、时间

网卡

设置固定网卡,参考【1】
这里使用桥接的方式连接宿主机，并给虚拟机分配固定IP

注意事项

• 关闭宿主机防火墙
• 第一台虚拟机需要通过Hyper-v配置网卡和ssh，以便在宿主机中可以通过ssh连接，ssh里需要取消PermitRootLogin yes 和 PubkeyAuthentication yes，
• 先安装Python，Java，Hadoop，Hbase，Spark，zookeeper
• 后续的两台通过复制第一台创建，只需改动部分配置即可即可

cat >> /etc/sysconfig/network-scripts/ifcfg-eth0 <<EOF
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eth0
UUID=c9ffc1dd-f476-488d-80d8-72adcc0339ac
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.0.103
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
EOF

配置ssh

sed -ri 's/#PubkeyAuthentication yes/PubkeyAuthentication yes/' /etc/ssh/sshd_config && \
sed -ri 's/#PermitRootLogin yes/PermitRootLogin yes/' /etc/ssh/sshd_config && \
systemctl start sshd && systemctl enable sshd

DNS

添加DNS

echo '
nameserver 8.8.8.8
nameserver 8.8.4.4
' > /etc/resolv.conf

主机名

指定主机名,每台虚拟机指定相应的主机名

hostnamectl --static set-hostname worker3

HOSTS

添加hosts，可以当成自定义的DNS

cat > /etc/hosts <<EOF
192.168.0.103 worker3
192.168.0.104 worker4
192.168.0.105 worker5
EOF

SSH生成密钥

生成秘钥,每台虚拟机生成相应密钥

ssh-keygen -t rsa -C "1193543051@qq.com" -P "" -f ~/.ssh/id_rsa

同步ssh密钥，免密登录

--- Manager And Worker
ssh-copy-id root@worker3 &&
ssh-copy-id root@worker4 &&
ssh-copy-id root@worker5

防火墙

关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

时间

同步时间，集群中的节点会使用时间来同步信息，若没有同步时间，启动时会报错

yum -y install ntp ntpdate
ntpdate cn.pool.ntp.org

【1】配置Hyper-v网卡 https://www.cnblogs.com/jadedoo/p/9967111.html