win10虚拟机搭建Hadoop集群(已完结)

 

 

 

1 在虚拟机安装 Ubuntu

 

 

 

2 安装网络工具

Ubuntu最小化安装没有 ifconfig命令

sudo apt-get install net-tools

 

3 Ubuntu修改网卡名字

修改网卡名字为eth0

sudo vim /etc/network/interfaces

 

 

reboot

4 修改主机名

sudo vim /etc/hosts

 

最后还要分别修改  /etc/hostname

 

reboot

 

5 修改IP地址

在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式->更改设置->根据自己主机的网络改子网

 

reboot

 

6 设置 DNS 解析

不需解析

 

7 修改 hosts 文件

sudo vim /etc/hosts

 

8 将yum源改为阿里云

8.1先备份

8.2打开文件设置

sudo vim /etc/apt/sources.list

 

8.3更新

sudo apt-get update

 

 9 安装配置JDK

9.1 检查是否已经安装

下载JDK，将JDK拉到桌面

 

9.2 安装JDK包到下列文件

 

alien -ivh --prefix=/usr/apps jdk-8u201-linux-x64.rpm

 

9.3配置环境变量

 sudo vim /etc/profile

 

 

10 克隆节点

 

 

   如下图克隆出nobe3和nobe4

 

10.1修改新节点的IP

 根据步骤七修改

10.2修改主机名

 步骤四

10.3其他节点进行类似操作

 

11  配置免密登录

11.1 生成密钥对

ssh-keygen

11.2下载openssh-server

 sudo apt-get install openssh-server

 

 11.3将密钥对配置到node2 node3 和node4

 

 

 12 添加Hadoop 用户

  四个节点同时操作

 sudo useradd hadoop

vsudo passwd hadoop

 12.1为Hadoop用户添加sudo 权限

sudo vim /etc/sudoers

 

 

 

13 配置Hadoop

 

13.1安装文件上传工具

yum - y install lrzsz

 

13.2 在 /home/xue目录下新建apps文件夹，将源码压缩包上传到apps文件里

sudo mkdir /home/xue/apps

 

13.3解压

 tar -zxvf /home/xue/apps/hadoop-2.7.7.tar.gz

 

13.4 配置Hadoop环境变量

sudo vim /etc/profile

 #set hadoop environment
export HADOOP_HOME=/home/xue/apps/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

 

13.5 将配置文件拷贝到node3,node4中

sudo scp /etc/profile node3:/etc/

 

 13.6 同时操作所有节点，重新加载配置文件

source /etc/profile

 

 13.7 配置各类 xml 文件

配置文件在所在目录 /home/xue/apps/hadoop-2.7.7/etc/hadoop

 

13.7.1 配置hadoop-env.sh

 

添加  JAVA_HOME=/usr/apps/javajdk1.8.0_181-amd64

 

 13.7.2 配置 core-site.xml

 

 

 

  13.7.3 配置 hdfs-site.xml

 

 

 

 

13.7.4 配置 mapred-site.xml.template

 

 

将 mapred-site.xml.template 修改 为 mapred-site.xml

 

 13.7.5 配置 yarn-site.xml

 

 13.7.6 修改slaves文件

 

 13.8 把配置文件分发到各个节点

    scp -r apps node3:/home/xue/

 

 13.9 格式化 NameNode

    hdfs namenode -format

 

 13.10 测试安装

13.10.1 将hadoop主目录授权给当前用户(各节点都操作一次) 

   sudo chown -R xue /home/xue/hadoop

13.10.2 启动 HDFS

   start-dfs.sh

13.10.3 启动  YARN

   start-yarn.sh

 

14 完成最后步骤

14.1 网页管理界面

   将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件

14.2 登陆

   在浏览器上登陆HDFS ，http://node2:50070