寒假第五天

实验流程

1. 实验环境准备

   • 确保 Linux 虚拟机（Ubuntu 16.04）已正确安装并配置。

   • 下载 Hadoop 2.7.1 和 Spark 2.1.0 的安装包。

   • 配置 Java 环境变量，确保 Hadoop 和 Spark 能够正常运行。

2. 安装 Hadoop

   • 参考实验指南，完成 Hadoop 伪分布式模式的安装。

   • 配置 Hadoop 的核心文件，包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml。

   • 格式化 HDFS 文件系统，并启动 Hadoop 服务。

   • 使用 jps 命令验证 Hadoop 是否成功启动，确保 NameNode、DataNode、ResourceManager 和 NodeManager 等进程正常运行。

3. 安装 Spark

   • 下载并解压 Spark 2.1.0 安装包。

   • 配置 Spark 的环境变量，确保 Spark 能够正常运行。

   • 启动 Spark 的 Local 模式，并通过 spark-shell 验证安装是否成功。

实验结果

• 成功在 Linux 虚拟机中安装并配置了 Hadoop 2.7.1 和 Spark 2.1.0。

• 验证了 Hadoop 和 Spark 的安装，确保所有服务正常运行。

实验总结

我掌握了在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法，并成功配置了伪分布式模式。通过启动 Hadoop 和 Spark 服务，我验证了安装的正确性，为后续的 HDFS 操作和 Spark 编程实验打下了基础。