寒假第七天

实验流程

1. Spark 读取 HDFS 文件

   • 启动 spark-shell，读取 HDFS 中的文件 /user/hadoop/test.txt，并统计文件的行数。

   • 验证统计结果是否正确。

2. 编写独立应用程序

   • 编写一个独立的 Scala 应用程序，读取 HDFS 中的文件 /user/hadoop/test.txt，并统计文件的行数。

   • 使用 sbt 工具将应用程序编译打包成 JAR 包。

   • 通过 spark-submit 提交 JAR 包到 Spark 中运行，验证统计结果是否正确。

3. 实验报告撰写

   • 根据实验内容和结果，撰写了详细的实验报告，包括实验目的、实验平台、实验内容、实验步骤、实验结果和实验总结。

实验结果

• 成功使用 spark-shell 读取了 HDFS 中的文件，并统计了文件的行数。

• 编写并打包了独立的 Scala 应用程序，通过 spark-submit 提交运行，验证了统计结果的正确性。

实验总结

我掌握了使用 Spark 读取 HDFS 文件的方法，并能够编写独立的 Scala 应用程序进行数据处理。通过 sbt 工具编译打包应用程序，并使用 spark-submit 提交运行，我进一步熟悉了 Spark 的开发流程。这些实验不仅提高了我的编程能力，也加深了我对 Spark 和 Hadoop 的理解，为后续的大数据处理实验打下了坚实的基础。