虚拟机安装hadoop

1.VMware下CentOS虚拟机的创建方法

https://jingyan.baidu.com/article/ff42efa920bef3c19e22028c.html

2.虚拟机网络配置

1.防火墙关闭
service iptables stop //服务关闭
chkconfig iptables off //关闭开机自启
2.创建一个用户
useradd atgigu
passwd atguigu
3.在/opt目录下创建路径
mkdir /opt/software /opt/module
chown atguigu:atguigu /opt/software /opt/module
4.把用户添加到sudoers
vim /etc/sudoers
atguigu ALL=(ALL) NOPASSWD:ALL
5.修改Hosts
vim /etc/hosts
172.30.34.209 hadoop01
172.30.34.210 hadoop02
6.改静态IP(每克隆一台需要做一次)

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes ### 开机启动
BOOTPROTO=static ### 手动设置IP
IPADDR=172.30.34.209 ### 本机IP 为 192.168.2.100
PREFIX=24
GATEWAY=192.168.44.2 ### 默认网关 对应我们NAT设置里查看的网关IP
DNS1=192.168.44.2 ### DNS 设置为Google的
NAME=eth0

--查看ip:ifconfig

--查看GATEWAY：

 

7.修改主机名（每克隆一台需要做一次）
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01
8.拍成快照
9.更改网卡脚本文件（新虚拟机不需要）
vim /etc/udev/rules.d/70-persistent-net.rules

 

3.java和hadoop配置

vim /etc/profile

export JAVA_HOME=/opt/module/jdk-14
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/module/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
java -version
hadoop version

 

4.完全分布式配置：快速分发hadoop和java

#1.根目录创建xsync文件
vim xsync
#2.复制到bin目录
sudo cp xsync /bin
#3.发送jdk,hadoop给其他所有服务器(atguigu)
xsync jdk-14
xsync hadoop-2.7.6
#4.发送配置文件给其他用户（root）
sudo xsync /etc/profile
$5.重新运行（所有服务区）
source /etc/profile

 

#!/bin/bash
#1.获取输入参数得个数，如果没有参数，直接退出
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi

#2.获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3.获取上级目录的绝对路径（.和软连接）
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir

#4.获取当前用户名称
user=`whoami`

#5.循环
for((host=102;host<105;host++));do
     echo ***************hadoop$host*************
     rsync -av $pdir/$fname $user@hadoop$host:$pdir
done


for((host=102;host<105;host++));do
     echo ***************hadoop$host*************
     rsync -av $pdir/$fname $user@hadoop$host:$pdir
done