大数据练习一

实验1：熟悉常用的Linux操作和Hadoop操作
实验环境
操作系统：Ubuntu 18.04
Hadoop版本：3.1.3
JDK版本：1.8.0_212

实验内容与完成情况

1. 熟悉常用的Linux操作
   序号 操作 命令 执行结果
   1.1 切换到目录“/usr/local” cd /usr/local 成功切换到目标目录
   1.2 切换到当前目录的上一级目录 cd .. 成功切换到上级目录
   1.3 切换到当前登录用户的主文件夹 cd ~ 或 cd 成功切换到主文件夹
   2 查看目录“/usr”下的所有文件和目录 ls -la /usr 显示/usr目录下的所有文件和目录（包括隐藏文件）
   3.1 进入“/tmp”目录，创建名为“a”的目录 cd /tmp && mkdir a 成功创建目录a
   3.2 进入“/tmp”目录，创建目录“a1/a2/a3/a4” cd /tmp && mkdir -p a1/a2/a3/a4 成功创建多级目录
   4.1 删除目录a（在“/tmp”目录下） rmdir /tmp/a 成功删除空目录a
   4.2 删除目录“a1/a2/a3/a4” rmdir -p /tmp/a1/a2/a3/a4 成功删除多级空目录，/tmp下a1目录被移除
   5.1 将当前用户主文件夹下的.bashrc复制到“/usr”下，并重命名为bashrc1 cp ~/.bashrc /usr/bashrc1 成功复制并重命名
   5.2 在“/tmp”下新建目录test，再复制到“/usr”目录下 mkdir /tmp/test && cp -r /tmp/test /usr 成功创建并复制目录
   6.1 将“/usr”下的bashrc1移动到“/usr/test”目录下 mv /usr/bashrc1 /usr/test/ 成功移动文件
   6.2 将“/usr”下的test目录重命名为test2 mv /usr/test /usr/test2 成功重命名目录
   7.1 删除“/usr/test2”目录下的bashrc1文件 rm /usr/test2/bashrc1 成功删除文件
   7.2 删除“/usr”下的test2目录 rm -rf /usr/test2 成功删除目录
   8 查看当前用户主文件夹下的.bashrc文件内容 cat ~/.bashrc 显示.bashrc文件内容
   9 反向查看当前用户主文件夹下的.bashrc文件内容 tac ~/.bashrc 反向显示.bashrc文件内容
   10 翻页查看当前用户主文件夹下的.bashrc文件内容 more ~/.bashrc 分页显示.bashrc文件内容，按空格键翻页，q退出
   11.1 查看当前用户主文件夹下.bashrc文件前20行 head -20 ~/.bashrc 显示前20行内容
   11.2 查看当前用户主文件夹下.bashrc文件，不显示后面50行 head -n -50 ~/.bashrc 显示除最后50行外的所有内容
   12.1 查看当前用户主文件夹下.bashrc文件最后20行 tail -20 ~/.bashrc 显示最后20行内容
   12.2 查看当前用户主文件夹下.bashrc文件，只显示50行以后的数据 tail -n +51 ~/.bashrc 显示从第51行开始的内容
   13.1 在“/tmp”目录下创建空文件hello，并查看文件时间 touch /tmp/hello && ls -l /tmp/hello 成功创建文件，显示文件时间
   13.2 修改hello文件，将文件时间改为5天前 touch -d "5 days ago" /tmp/hello && ls -l /tmp/hello 成功修改文件时间
   14 将hello文件所有者改为root帐号，并查看属性 sudo chown root /tmp/hello && ls -l /tmp/hello 成功修改所有者为root
   15 找出主文件夹下文件名为.bashrc的文件 find ~ -name ".bashrc" 找到~/.bashrc文件
   16.1 在根目录“/”下新建文件夹test，然后打包成test.tar.gz sudo mkdir /test && sudo tar -czvf /test.tar.gz /test 成功创建并打包目录
   16.2 把test.tar.gz解压缩到“/tmp”目录 sudo tar -xzvf /test.tar.gz -C /tmp 成功解压缩到/tmp目录
   17 从“~/.bashrc”文件中查找字符串'examples' grep "examples" ~/.bashrc 查找并显示包含'examples'的行
   18.1 在“~/.bashrc”中设置Java环境变量 echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc && echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc 成功添加环境变量
   18.2 查看JAVA_HOME变量的值 source ~/.bashrc && echo $JAVA_HOME 显示JAVA_HOME的值为/usr/lib/jvm/java-8-openjdk-amd64

2. 熟悉常用的Hadoop操作
   序号 操作 命令 执行结果
   2.1 启动Hadoop，为hadoop用户创建HDFS目录“/user/hadoop” start-all.sh && hdfs dfs -mkdir -p /user/hadoop 成功启动Hadoop并创建目录
   2.2 在HDFS的“/user/hadoop”下创建test文件夹，并查看文件列表 hdfs dfs -mkdir /user/hadoop/test && hdfs dfs -ls /user/hadoop 成功创建test文件夹并显示列表
   2.3 将Linux本地的“~/.bashrc”文件上传到HDFS的test文件夹，并查看 hdfs dfs -put ~/.bashrc /user/hadoop/test && hdfs dfs -ls /user/hadoop/test 成功上传文件并显示
   2.4 将HDFS文件夹test复制到Linux本地“/usr/local/hadoop”目录下 hdfs dfs -copyToLocal /user/hadoop/test /usr/local/hadoop 成功复制到本地目录

出现的问题及解决方案
问题 解决方案
创建多级目录时失败 使用mkdir -p参数递归创建目录
删除非空目录时失败 使用rm -rf参数强制删除目录
修改文件所有者时权限不足 使用sudo命令获取root权限
启动Hadoop时提示权限不足 确保hadoop用户对Hadoop目录有读写权限
HDFS命令执行失败 先检查Hadoop服务是否正常启动（使用jps命令查看进程）