环境安装篇

1.准备环境

三台虚拟机：单台虚拟机：内存4G，硬盘50G，安装必要环境(个人采用的是centos7 下载地址 http://mirrors.aliyun.com/)

更新Yum源、安装jdk1.8(忽略)，安装需要程序

ps: 以下操作用户: root

sudo yum install -y epel-release
sudo yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd ntp unrar psmisc nc net-tools rsync  lrzsz  libzstd openssl-static tree iotop git

配置NTP服务器时间同步

# 编辑定时任务
crontab -e
# 定时任务的格式: *****
*/30 * * * * /usr/sbin/ntpdate time1.aliyun.com >> /tmp/autontpdate 2>&1       # 每半小时同步

配置主机名称 采用 hadoop102~10x代替 具体随意更换

hostname             # 查看主机名称
hostnamectl set-hostname hadoop102    # 设置主机名称

配置静态IP

# 查看ip
ifconfig |grep "inet"|awk -F "[: ]+" '{print $3}'|head -n1
# 修改为静态ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 配置文件
# 去掉 上面的BOOTPROTO 删除掉
BOOTPROTO="static"
# 下面的改成自己的网段
IPADDR="192.168.62.22"
NETMASK="255.255.255.0"
GATEWAY="192.168.62.2"
DNS="192.168.62.2"
NM_CONTROLLED="no"


# 检查网关配置
cat /etc/resolv.conf
# 停止服务
systemctl stop NetworkManager.service
# 移除开机启动服务
systemctl disable NetworkManager.service
# 重启网络服务
systemctl restart network.service

准备环境安装包

https://pan.baidu.com/s/1pPO-yM06o0E84yh47zv57g 
提取码：ldm9

软件包的位置是/opt/packages，安装目录是/opt/apps

# 创建文件
mkdir /opt/packages
# 上传文件
cd /opt /packages
rz -bye 你的文件

创建 用户 hadoop 做了一定的权限隔离

useradd hadoop
passwd hadoop

搭建免密切换

# 取消第 4，6行的注释
vim /etc/pam.d/su
auth            sufficient      pam_wheel.so trust use_uid
auth            required        pam_wheel.so use_uid

# 在文件末尾中追加内容  SU_WHEEL_ONLY yes
echo "SU_WHEEL_ONLY yes" >> /etc/login.defs

#将hadoop用户附加到wheel组,配置成功之后，hadoop用户免密切换到root用户,只有wheel组的用户可以切换到root用户
gpasswd -a hadoop wheel

除了 wheel的用户组 ，禁止其他用户组登入 root
sed -i 's/#auth\t\trequired\tpam_wheel.so/auth\t\trequired\tpam_wheel.so/g' '/etc/pam.d/su'

完成免密切换

准备两台配置相同的虚拟机并配置ssh环境，并添加host，环境准备完成

nn1.hadoop
su - hadoop   # 切换到hadoop用户
ssh-keygen -t rsa 
mkdir sshkey
cp ~/.ssh/id_rsa.pub ~/sshkey/hd02key

hadoop103
ssh-keygen -t rsa
scp ~/.ssh/id_rsa.pub  hadoop@hadoop102:~/sshkey/hd03key
hadoop104
ssh-keygen -t rsa
scp ~/.ssh/id_rsa.pub  hadoop@hadoop102:~/sshkey/hd04key

cd ~/sshkey
cat hd02key >> authorized_keys
cat hd03key >> authorized_keys
cat hd04key >> authorized_keys
# authorized_keys 的权限为600
chmod 600 authorized_keys

将 authorized_keys 文件分发到每台机器的 .ssh 目录下

cp authorized_keys ~/.ssh/
scp authorized_keys hadoop@hadoop103:~/.ssh/
scp authorized_keys hadoop@hadoop104:~/.ssh/