每日总结41

大数据技术与应用实验作业

一、实验目的

1.熟练掌握常用的hadoop shell命令

二、实验过程

1.打开终端模拟器，切换到/apps/hadoop/sbin目录下，启动Hadoop

 

2.执行jps，检查一下Hadoop相关进程是否启动

 

3.在/目录下创建一个test1文件夹

4.在Hadoop中的test1文件夹中创建一个file.txt文件

5.查看根目录下所有文件

 

6.还可以使用ls -R的方式递归查看根下所有文件

 

7.将Hadoop根下test1目录中的file.txt文件，移动到根下并重命名为file2.txt

 

8.将Hadoop根下的file2.txt文件复制到test1目录下

9.在Linux本地/data目录下，创建一个data.txt文件，并向其中写入hello hadoop！

 

10.将Linux本地/data目录下的data.txt文件，上传到HDFS中的/test1目录下

11.查看Hadoop中/test1目录下的data.txt文件

 

12.除此之外还可以使用tail方法

 

13.查看Hadoop中/test1目录下的data.txt文件大小

 

14.text方法可以将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

 

15.stat方法可以返回指定路径的统计信息，有多个参数可选，当使用-stat选项但不指定format时候，只打印文件创建日期，相当于%y

 

16.将Hadoop中/test1目录下的data.txt文件，下载到Linux本地/apps目录中

17.查看一下/apps目录下是否存在data.txt文件

 

18.使用chown方法，改变Hadoop中/test1目录中的data.txt文件拥有者为root，使用-R将使改变在目录结构下递归进行。

19.使用chmod方法，赋予Hadoop中/test1目录中的data.txt文件777权限

 

20.删除Hadoop根下的file2.txt文件

 

21.删除Hadoop根下的test1目录

 

22.当在Hadoop中设置了回收站功能时，删除的文件会保留在回收站中，可以使用expunge方法清空回收站。

 

23.使用Shell命令执行Hadoop自带的WordCount

 

首先切换到/data目录下，使用vim编辑一个data.txt文件，内容为:hello world hello hadoop hello ipieuvre

 

在HDFS的根下创建in目录，并将/data下的data.txt文件上传到HDFS中的in目录

执行hadoop jar命令，在hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包，我们执行其中的worldcount类，数据来源为HDFS的/in目录，数据输出到HDFS的/out目录

查看HDFS中的/out目录

 

24.进入Hadoop安全模式

 

25.退出Hadoop安全模式

 

26.切换到/apps/hadoop/sbin目录下，关闭Hadoop

 

 

 

三、实验心得

通过本次Hadoop Shell基本操作实验，我对HDFS分布式文件系统的基本操作有了更深入的理解和实践经验。实验过程中，我系统性地学习了如何使用hadoop fs命令进行文件系统的基本操作，包括目录创建、文件上传下载、权限管理等核心功能。

 

在实验初期，我遇到了一些操作上的困难，比如路径指定错误导致文件上传失败，以及权限不足无法查看某些目录内容等问题。通过仔细查阅错误信息和实验指导手册，我逐步掌握了正确的命令格式和参数使用方法。特别是在文件权限管理方面，我学会了使用chmod命令修改文件权限，这让我对Hadoop的安全机制有了更直观的认识。

 

本次实验让我深刻体会到命令行操作在大数据处理中的重要性。与图形界面相比，Shell命令虽然学习曲线较陡，但执行效率更高，更适合批量处理大规模数据。同时，我也认识到精确操作的必要性，在分布式环境中，一个错误的命令可能会影响整个集群的运行。