1-从0-1_Hadoop安装

1、 流程说明

本文参考尚硅谷大数据教程加以整理

1、win10, 安装好xshell/xftp/vmware，搭建虚拟机，克隆3台

2、 配置网络，防火墙，host,hostname ， 创建新用户，配置ssh免密

3、上传jdk/hadoop安装包，解压，配置环境变量，wordcount测试

注意： 虚拟机搭建好，配置完就要切换到xing用户，使用sudo操作的场景：

1. 修改环境变量用 sudo vim /etc/profile.d/xing_env.sh
2. 创建/opt/software module . sudo mkdir /opt/modlue sudo mkdir /opt/software
3. 修改这两个文件所有权： sudo chown xing:xing /opt/software /opt/module

---

2、 虚拟机搭建

注意：如果要切换vmare新版本，一定要用Uninstall工具完整卸载之前的vmware

需要工具：xshell 7绿色版、xftp7、vmware15、Centos7.9

下载地址：

Uninstall Tool： 链接：https://pan.baidu.com/s/1PkOJSIJvgMXNPaXf6BtInw?pwd=iph4 提取码：iph4

vmware&centos: 链接：https://pan.baidu.com/s/1JRND3mU8BdlVru7mdbl7xA?pwd=zvnm 提取码：zvnm

xshell&xftp 链接：https://pan.baidu.com/s/1GH3v5qTjufHRNCu9KWAWYg?pwd=8z2a 提取码：8z2a

① 安装各软件

② 搭建虚拟机

参考尚硅谷文档：

02_VMware与CentOS及XShell的安装.docx
03_尚硅谷大数据技术之Linux（V4.0）.docx
04_尚硅谷大数据技术之Shell（V4.0）.docx

链接：https://pan.baidu.com/s/1df4B_kfckGYRLL7y3nGatg?pwd=a8xo
提取码：a8xo

③ 克隆虚拟机（可以配置完再克隆）

1. 关闭虚拟机
2. 右键管理--克隆--完整克隆
3. 修改hosts, hostname,重启网络

---

3、虚拟机配置

1. IP网络

# 1. 打开
vi /etc/sysconfig/network-scripts/ifcfg-ens33

# 2. 修改
BOOTPROTO=static
ONBOOT=yes

# 3. 添加如下内容
IPADDR=192.168.10.102
GATEWAY=192.168.10.2
DNS1=114.114.114.114
DNS2=8.8.8.8

# 4. 重启network服务
systemctl restart network

# 5. (xshell连接Linux)	

2. 安装插件

yum install -y epel-release net-tools vim
yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

3. 防火墙

systemctl stop firewalld
systemctl disable firewalld

4. 创建用户

# 1. 创建用户
useradd xing

# 2. 设置密码123321
passwd xing

# 3. 给xing设置可以使用root权限
visudo

# 4. 在root    ALL=(ALL)       ALL下面添加如下内容
xing ALL=(ALL)       NOPASSWD:ALL

5. 创建软件目录

mkdir /opt/module
mkdir /opt/software
chown xing:xing module software

6. 修改主机名

vi /etc/hostname

node001

7. 修改hosts

vi /etc/hosts

# 添加如下内容
192.168.1.201 node001
192.168.1.202 node002
192.168.1.203 node003


# windows也同步添加
C:\Windows\System32\drivers\etc

8. 测试

# 1.等插件都装完后再重启Linux

# 2. windows测试
cmd
ping node001

# 3. linux测试
ping 192.168.1.2

# OK

9. ssh免密

# 13. 配置ssh免密
    su xing
    cd ~
    # 三台都执行以下命令并一路回车
    ssh-keygen -t rsa 
    # 三台分别执行以下命令，并输入yes和密码
    ssh-copy-id node001
    ssh-copy-id node002
    ssh-copy-id node003
	#测试
	ssh node001
	exit
	ssh node002
	exit
	# 拉
	scp -r xing@node003:/opt/b.txt  ./
	# 推
	scp -r b.txt xing@node002:/opt/module/

10. xsync分发

# 1. 编写脚本  ~/bin/xsync
#!/bin/bash
if [ $# -lt 1 ]
then
        echo "args can't < 1"
        exit
fi

hosts=(node001 node002 node003)

for node in ${hosts[@]}
do
        echo "==============${node}================"
        for file in $@
        do
                if [ -e $file ]
                then
                        pdir=$(cd -P $(dirname $file);pwd)
                        fname=$(basename $file)
                        ssh $node "mkdir -p $pdir"
                        rsync -av $pdir/$fname $node:$pdir/
                        echo "** $pdir/$fname 传输完成"
                else
                        echo "${file} 文件不存在!!!"
                fi
        done
done



# 2. 放到环境变量 
sudo cp -r ~/bin/xsync /bin/

# 3. 执行
xsync ./*

---

4、 jdk安装

# 1.(xing用户)将压缩包上传到/opt/software

# 2.解压到/opt/module
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
	
# 3.配置环境变量
	# 3.1 在/etc/profile.d目录下创建my_env.sh
	sudo touch xing_env.sh
	
	# 3.2在文件中添加内容
    sudo vim xing_env.sh
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    #将JAVA_HOME拼接到PATH中
    export PATH=$PATH:$JAVA_HOME/bin
		
		
# 4.让环境变量生效
	# 4.1 重新连接
	# 4.2 source一下
	source /etc/profile.d/xing_env.sh

# 5.测试
java
javac
java -version

---

5、hadoop安装

# 1.(xing用户)将压缩包上传到/opt/software

# 2.解压到/opt/module
tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module
	
# 3.配置环境变量
sudo vim /etc/profile.d/xing_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
#将上面的变量拼接到PATH中
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


# 4.让环境变量生效
	# 4.1 重新连接
	# 4.2 source一下(之前存在的环境变量会变成两分)
	source /etc/profile.d/xing_env.sh

# 5.测试
hadoop version
	
# 6. 单机wordcount测试 node003
cd /opt/module/hadoop-3.1.3

# 7. 准备输入文件
mkdir wcinput
vim wcinput/a.txt
java java java hello hello world python py py

# 8. 执行官方测试案例wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcout

# 查看 wcout/part......可以看到结果