寒假第六天

实验流程

1. HDFS 常用操作

   • 使用 hadoop 用户名登录 Linux 系统，启动 Hadoop 服务。

   • 在 HDFS 中创建用户目录 /user/hadoop。

   • 在本地文件系统的 /home/hadoop 目录下新建一个文本文件 test.txt，并上传到 HDFS 的 /user/hadoop 目录下。

   • 将 HDFS 中的 test.txt 文件下载到本地文件系统的 /home/hadoop/下载 目录下。

   • 使用 cat 命令将 HDFS 中 test.txt 文件的内容输出到终端。

   • 在 HDFS 中创建子目录 /user/hadoop/input，并将 test.txt 文件复制到该目录下。

   • 删除 HDFS 中的 test.txt 文件和 /user/hadoop/input 目录及其内容。

2. Spark 读取本地文件

   • 启动 spark-shell，读取本地文件 /home/hadoop/test.txt，并统计文件的行数。

   • 验证统计结果是否正确。

实验结果

• 成功完成了 HDFS 的常用操作，包括文件上传、下载、查看、复制和删除。

• 使用 spark-shell 成功读取了本地文件，并统计了文件的行数。

实验总结

我熟悉了 HDFS 的基本使用方法，能够熟练使用 Hadoop 提供的 Shell 命令进行文件操作。此外，我还掌握了使用 Spark 读取本地文件的方法，并通过统计文件行数验证了操作的正确性。这些实验加深了我对 Hadoop 和 Spark 的理解，为后续的 Spark 编程实验奠定了基础。