2021 9 10

windows下安装hadoop

下载hadoop安装包：hadoop2.9官方下载地址
然后解压到合适的位置
开始配置
2.1 进入安装路径下/etc/hadoop/
因为我之前安装了cygwin所以可以使用ls，原生的可以使用dir命令查看路径下有什么文件

修改下面的文件

2.2 首先修改core-site.xml
添加下面配置，指定默认文件系统
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
1
2
3
4

2.3 修改mapred-site.xml
将mapred-site.xml.template文件修改名字mapred-site.xml
添加下面内容：指定调用系统为yarn

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1
2
3
4

2.4 修改hdfs-site.xml
添加下面配置：
dfs.replication指定文件副本数，单机模式，指定一个就行
dfs.namenode.name.dir 指定namenode工作路径
dfs.datanode.data.dir 指定datanode工作路径

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
说明：file:/指当前文件系统的根路径，此处即指定C:/,如果在D:/则是代指D:/，文件路径系统会自动创建

2.5 修改yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
1
2
3
4
5
6
7
8

2.6 修改hadoop-env.cmd
此文件需要指定JAVA_HOME，修改为文件系统

2.6 修改slaves文件
指定hdfs子节点的主机，如果只使用本地可以保持默认值localhost，如果需要添加多台，一行一台主机名

安装window下编译必须库文件
winutils.exe下载
这个文件不管是在windows下使用hadoop以及在windows下远程调用hadoop集群都要使用的。winutils.exe下载
找到对应版本后，将bin下面的文件全部复制到hadoop安装路径下的bin目录，然后将hadoop.dll复制到
如果是32位系统
C:\Windows\System32
1
如果是64位系统

C:\Windows\SysWOW64
1

然后验证winutils.exe是否安装成功，双击hadoop2.9.0/bin/winutils.exe如果出现cmd闪退就说明安装成功，如果提示缺少MSVCR100.dll就执行下面的步骤。
2. Visual C++ 2010 Redistributable Package (x64)安装
下载路径：Visual C++ 2010 Redistributable Package

下载之后安装，然后回测winutils.exe

启动Hadoop集群
注意：如果是第一次启动需要初始化namenode

初始化namenode
输入hadoop namenode -format

如果出现下图提示说明namenode初始化成功

启动Hadoop
sbin/start-all.cmd
1
会出现四个cmd窗口，不要手动关闭
查看是否有异常信息

使用jps查看进程

webUI验证
查看hdfs
浏览器输入

http://localhost:50070
1

查看集群应用情况

http://localhost:8088