Hadoop的安装,图文并茂的安装过程

题目1： Hadoop的安装,图文并茂的安装过程

实验内容及结果

第一步，下载安装包

  1. 下载地址: https://dlcdn.apache.org/hadoop/common/,选择hadoop-3.3.6版本。

图1-1 选择下载版本

图1-2 选择hadoop-3.3.6.tar.gz

图1-3 推荐用迅雷加速下载

  1. 下载解压下来，解压到指定的路径：D:\hadoop

图1-4 解压文件到指定目录

第二步，下载bin执行文件

下载bin文件替换原本存在的linux文件

图2-1 下载bin文件

图2-2 选择对应的bin文件夹

图2-2 备分并替换bin文件夹

第三步，配置环境变量

  1. HADOOP_HOME 对应的值填上面我们记下的安装路径

图3-1 配置hadoop主目录环境变量

  1. path 环境变量中增加执行目录

图3-2 添加Hadoop\bin到path环境变量

  1. 检测环境变量是否配置成功

在配置环境变量后我们检查一下环境变量是否生效，在cmd或powershell下运行 hadoop version 看看情况

  1. hadoop version

图3-3 出现异常

在配置环境变量后我们检查环境的时候，出现故障，初步查明是因为以前配置的JAVA_HOME 路径中有空格。

图3-4 JAVA_HOME 出现异常

图3-5 JAVA_HOME修正方案

  1. 环境校验成功

图3-6 环境校验完成

第四步，配置文件

首先在d:\hadoop创建一个data文件夹，然后在data文件夹下面创建三个文件夹，分别是 datanode、namenode、tmp

图4-1 创建三个文件夹供配置使用

  1. 配置core-site.xml

core-site.xml配置文件在 D:\hadoop\etc\hadoop下面，core-site.xml文件是 Hadoop 配置文件之一，用于配置 Hadoop 的核心参数。这些参数定义了 Hadoop 集群的基本行为和特性，包括文件系统的默认配置、网络设置、安全设置等。

  1. <configuration>
  2.     <property>
  3.         <name>hadoop.tmp.dir</name>
  4.         <value>/D:/hadoop/data/tmp</value>
  5.     </property>
  6.     <property>
  7.         <name>fs.defaultFS</name>
  8.         <value>hdfs://localhost:9000</value>
  9.     </property>
  10. </configuration>

图4-2 core-site.xml 参数配置

注意以"/"开头中间用"/"隔开，使用 Windows 系统，路径格式应该是/D:/hadoop/data/tmp，而不是 D:\hadoop\data\tmp。

  1. hadoop.tmp.dir：指定 Hadoop 临时文件的存储目录。
  2. fs.defaultFS：指定 Hadoop 默认的文件系统 URI。
  3. 配置mapred-site.xml

mapred-site.xml用于设置 MapReduce框架的具体参数。

  1. mapreduce.framework.name：确保 MapReduce 任务由 YARN 资源管理器调度和管理。
  2. mapred.job.tracker：指定 JobTracker 的地址
  3. <configuration>
  4.     <property>
  5.        <name>mapreduce.framework.name</name>
  6.        <value>yarn</value>
  7.     </property>
  8.     <property>
  9.        <name>mapred.job.tracker</name>
  10.        <value>hdfs://localhost:9000</value>
  11.     </property>
  12. </configuration>

图4-3 mapred-site.xml 参数配置

  1. 配置yarn-site.xml

yarn-site.xml 是 用于设置 YARN资源管理器的具体参数。

(1) yarn.nodemanager.aux-services：确保 MapReduce 框架可以使用 YARN 的 Shuffle 服务。

(2) yarn.nodemanager.aux-services.mapreduce.shuffle.class：确保 Shuffle 服务由 ShuffleHandler 类处理，这是 MapReduce 框架所需的。

  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6.     <property>
  7.         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  8.         <value>org.apache.hahoop.mapred.ShuffleHandler</value>
  9.     </property>
  10. </configuration>

图4-4 yarn-site.xml 参数配置

  1. 配置hdfs-site.xml

hdfs-site.xml 是 Hadoop 用于设置 HDFS的具体参数。

  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>1</value>
  5.     </property>
  6.     <property>
  7.         <name>dfs.namenode.name.dir</name>
  8.         <value>/D:/hadoop/data/namenode</value>
  9.     </property>
  10.     <property>
  11.         <name>dfs.datanode.data.dir</name>
  12.         <value>/D:/hadoop/data/datanode</value>
  13.     </property>
  14. </configuration>

图4-5 hdfs-site.xml 参数配置

第五步，启动服务

  1. namenode格式化
  2. hdfs namenode -format

图5-1 nodename格式化

  1. 执行系统所有服务的初始化与启动流程
  2. start-all.cmd

图5-2启动所有服务

第六步，访问web服务

概览页面：http://localhost:9870/

图6-1 概览页面

任务页面： http://localhost:8088/

图6-2 任务页面

谢谢观看

posted @ 2025-04-02 09:25  流逝的轻风  阅读(241)  评论(0)    收藏  举报