实验1：熟悉常用的Linux操作和Hadoop操作

1.实验目的

Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

2.实验平台

（1）操作系统：Linux（VM）；
（2）Hadoop版本：3.2.4。

3.实验步骤

1.熟悉常用的Linux操作

1）cd命令：切换目录

（1）切换到目录“/usr/local”
（2）切换到当前目录的上一级目录
（3）切换到当前登录Linux系统的用户的自己的主文件夹
image

2）ls命令：查看文件与目录

查看目录“/usr”下的所有文件和目录
image

3）mkdir命令：新建目录

（1）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录
（2）进入“/tmp”目录，创建目录“a1/a2/a3/a4”
image

4）rmdir命令：删除空的目录

（1）将上面创建的目录a（在“/tmp”目录下面）删除
（2）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录
image

5）cp命令：复制文件或目录

（1）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1
（2）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下
image

6）mv命令：移动文件与目录，或更名

（1）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
（2）将“/usr”目录下的test目录重命名为test2
image

7）rm命令：移除文件或目录

（1）将“/usr/test2”目录下的bashrc1文件删除
（2）将“/usr”目录下的test2目录删除
image

8）cat命令：查看文件内容

查看当前用户主文件夹下的.bashrc文件内容
image

9）tac命令：反向查看文件内容

反向查看当前用户主文件夹下的.bashrc文件的内容
image

10）more命令：一页一页翻动查看

翻页查看当前用户主文件夹下的.bashrc文件的内容
image

11）head命令：取出前面几行

（1）查看当前用户主文件夹下.bashrc文件内容前20行
（2）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行
image

12）tail命令：取出后面几行

（1）查看当前用户主文件夹下.bashrc文件内容最后20行
（2）查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据
image

13）touch命令：修改文件时间或创建新文件

（1）在“/tmp”目录下创建一个空文件hello，并查看文件时间
（2）修改hello文件，将文件时间整为5天前
image

14）chown命令：修改文件所有者权限

将hello文件所有者改为root帐号，并查看属性
image

15）find命令：文件查找

找出主文件夹下文件名为.bashrc的文件
image

16）tar命令：压缩命令

（1）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz
（2）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录
image

17）grep命令：查找字符串

从“～/.bashrc”文件中查找字符串'examples'
image

18）配置环境变量

（1）请在“～/.bashrc”中设置，配置Java环境变量
（2）查看JAVA_HOME变量的值
image
image

2.熟悉常用的Hadoop操作

（1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”
（2）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表
（3）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test
（4）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
image
image

4.实验报告

题目：
熟悉常用的Linux操作和Hadoop操作 姓名：
刘美娟 11.16
实验环境：
操作系统： CentOS 7 64位 - VMware Workstation
Hadoop版本：hadoop-3.2.4
Java版本：1.8.0_412
用户账户：1

实验内容与完成情况：
已完成的操作：
1.目录操作
o✓ 熟练使用 cd 命令切换不同目录
o✓ 使用 ls 命令查看目录内容
o✓ 使用 mkdir 创建单级和多级目录
o✓ 使用 rmdir 删除空目录
2.文件操作
o✓ 使用 cp 命令复制文件和目录
o✓ 使用 mv 命令移动和重命名文件
o✓ 使用 rm 命令删除文件和目录
o✓ 使用 touch 创建文件和修改时间戳
3.文件内容查看
o✓ 使用 cat 查看文件内容
o✓ 使用 tac 反向查看
o✓ 使用 more 分页查看
o✓ 使用 head 和 tail 查看文件首尾部分
4.文件查找与处理
o✓ 使用 find 命令查找文件
o✓ 使用 grep 查找文件内容
o✓ 使用 tar 进行压缩和解压
5.权限管理
o✓ 使用 chown 修改文件所有者
o✓ 在 .bashrc 中配置Java环境变量
第二部分：Hadoop操作（完成度：70%）
已完成的操作：
1.Hadoop环境准备
o✓ 切换到hadoop用户
o✓ 启动Hadoop集群（HDFS和YARN）
2.HDFS基础操作
o✓ 创建用户目录 /user/hadoop
o✓ 在HDFS中创建test文件夹
o✓ 查看HDFS文件列表
o✓ 上传本地文件到HDFS
o✓ 从HDFS下载文件到本地
出现的问题：问题1：Hadoop安装包移动失败（主要问题）
问题描述：
在尝试将下载的Hadoop安装包（hadoop-3.2.4.tar.gz解压后的目录）移动到根目录时，系统提示错误：
Error while moving "hadoop-3.2.4".
There was an error moving the file into /.

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：
问题
1.权限不足： 根目录（/）通常需要超级用户权限（sudo）才能写入
2.文件系统保护： Ubuntu系统对根目录有严格的权限控制
3.路径冲突： 可能目标位置已存在同名文件或目录
无未解决问题