Hadoop（1）--Windows虚拟集群搭建

原地址：http://www.mashibing.com/hadoop_install.html

本文假设你已经对虚拟机软件、Linux等有初步的了解。

- 软件准备：

　　1.下载VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe

　　2.下载CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso

　　3.下载XShell 5 与XFtp 请在百度自己搜索与安装

　　4.下载jdk http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.rpm

　　5.下载hadoop2.7.3 -> http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

- 安装VirtualBox

　　设定VirtualBox虚拟网卡的IP地址

- 设置虚拟机中的网络设置

　　1.在虚拟机中选用host-only网络

　　2.vi /etc/sysconfig/network

　　NETWORKING=yes
　　GATEWAY=192.168.56.1

　　3.vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0

　　4.修改主机名hostnamectl set-hostname master (主机名千万不能有下划线！)

　　5.重启网络service network restart

　　6.互相ping，看是否测试成功，若不成功，注意防火墙的影响。关闭windows或虚拟机的防火墙。systemctl stop firewalld system disable firewalld

- 使用XShell登陆

　　检查ssh服务状态systemctl status sshd (service sshd status)，验证使用XShell是否能登陆成功。

- 将hadoop和jdk 安装软件包 上传到虚拟机

　　安装JDK rpm -ivh ./xxxxx.jdk，验证rpm -qa | grep jdk，在命令行中敲java命令，确认jdk已经安装完成

　　jdk默认安装在/usr/java目录下

- 安装Hadoop

　　cd /usr/local
　　tar –xvf ./hadoop-2.7.2.tar.gz
　　把目录修改为hadoop mv hadoop-2... hadoop
　　修改hadoop-env.sh
　　vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
　　修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
　　把/usr/hadoop/bin和/usr/hadoop/sbin设到PATH中
　　vi /etc/profile
　　追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
　　配置文件生效  source etc/profile
　　测试hadoop命令是否可以直接执行，任意目录下敲hadoop

- 关闭虚拟机，复制3份

　　分别修改虚拟机的ip和hostname，确认互相能够ping通，用ssh登陆，同时修改所有虚拟机的/etc/hosts，确认使用名字可以ping通

关键性截图：

1.虚拟机网络选择 “仅主机（Host-Only）网络”

2.整体集群截图