Hadoop软件准备

Hyper-V

Hyper-V是windows系统自带的虚拟机，使用时要满足两点

1. Bios里开启CPU虚拟化，可以在任务管理器 - 性能里查看是否支持虚拟化
2. 教育版和家庭版不支持启用Hyper-V，最好是企业版和专业版

• 启用方式
  控制面板\程序\程序和功能 - 启用或关闭Windows功能 - Hyper-V

SecureCRT

SecureCRT可以同时管理多个ssh通道，连接多个虚拟机,避免了单个命令行只能连接一个主机的局限。

Notepad

通过sftp在本地修改文件，保存时会直接通过ssh通道上传到目的系统，修改配置文件的神器，分两步调出插件
2. 第二步安装插件插件\插件管理...\可用 - 搜索插件NppFTP - 安装

Anaconda3

1. 第一步升级软件？\升级 Notepad++
   示例代码以Python为主，Anaconda内部集成的包比Python标准安装包多许多，便于开发

PyCharm

Python的编辑器，配合Anaconda可以快速构建开发环境

Centos

Centos是比较普遍的Linux系统，会用到CentOS-7-x86_64-Minimal-1810版本，在阿里云镜像下载点这里

创建虚拟机

• Hyper-V右侧新建虚拟机，进入虚拟机向导
• 新建三台虚拟机，名称分别为worker3，worker4，worker5，并分别创建三个文件夹存储虚拟机
• 选择第二代虚拟机
• 分配 3072 MB内存
• 连接选择Default Switch
• 虚拟硬盘空间 40
• 从可启动的映像文件安装操作系统，选择CentOS-7-x86_64-Minimal-1810.iso
• 启动虚拟机，按流程安装
• 复制另外两台虚拟机【1】

可能遇到的问题

1. Start Pxe over IPv4
   先关闭虚拟机，单击worker3，点击右下角设置，在硬件\安全中取消启用安全启动
2. 语言选择
   选择English
3. 密码过于简单时，单机Done没反应
   双击Done确定
4. 宿主机重启后，虚拟机和宿主机不能互相ping通，在hyper-v中重新勾选连接类型

版本坑

截至2019-09-24，Hadop已经更新到3.2.1版，但是大哥跑的太快，小弟们跟不上，软件之间相互依赖，一点小的变动，就可能相互不兼容，下面是我测试过可以相互组合的版本，以jdk8和Hadoop2.7为核心

• 点这里jdk-8u211-linux-x64.tar.gz
• 点这里hadoop-2.7.4.tar.gz
• 点这里zookeeper-3.4.14.tar.gz
• 点这里hbase-2.0.1-bin.tar.gz
• 点这里apache-hive-3.1.1-bin.tar.gz
• 点这里spark-2.3.2-bin-hadoop2.7.tgz
• 点这里apache-ant-1.10.6-bin.tar.gz
• 点这里apache-maven-3.6.1-bin.tar.gz
• 点这里hue-release-4.3.0.tar.gz

【1】复制虚拟机https://bbs.huaweicloud.com/blogs/151251