Windows下配置hadoop进行本地开发

Windows下配置hadoop进行本地开发

jdk、windows本地hadoop安装目录要求：不包含中文、不包含空格

1、修改hosts文件

• 修改hosts文件
• 所在位置C:\Windows\System32\drivers\etc\hosts
• 将虚拟机中/etc/hosts文件以下内容，添加到windows的hosts文件末尾(根据自己的实际情况，修改ip地址)

192.168.198.136 node01
192.168.198.137 node02
192.168.198.138 node03

2、安装jdk

安装jdk8版本就行，这个比较简单，此处省略

3、windows下安装hadoop

我选择的hadoop版本是hadoop-3.1.4

1、在官网下载压缩包hadoop-3.1.4.tar.gz
2、找一个文件夹进行解压，我选择的文件夹是  E:\hadoop
3、从github中下载hadoop运行需要的bin目录，地址：https://github.com/cdarlint/winutils

4、将复制的这些文件放到hadoop3.1.4中（粘贴并覆盖）

4、配置hadoop环境变量

1、配置一个HADOOP_HOME

E:\hadoop\hadoop-3.1.4

2、把bin和sbin目录加入path中，便于直接使用命令

%HADOOP_HOME%\bin;
%HADOOP_HOME%\sbin;

5、验证是否安装成功

1、打开cmd窗口
2、执行hadoop命令

如果出现如下错误：

就说明编码不匹配，hadoop默认的是linux的编码，我们需要换成windows的编码

打开nodepad++，把这四个文件的编码，由linux编码转化为windows编码。