03 Linux与Hadoop操作实验

1.实验目的

• 为后续上机实验做准备，熟悉常用的Linux操作和Hadoop操作。

2.实验平台

操作系统：Linux

Hadoop版本：2.7.1

3.实验内容和要求

（一）熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。

cd命令：切换目录

（1）切换到目录 /usr/local

（2）去到目前的上层目录

（3）回到自己的主文件夹

　　cd /usr/local

　　cd ../

　　cd ~

ls命令：查看文件与目录

（4）查看目录/usr下所有的文件

　　cd /usr

　　ls

mkdir命令：新建新目录

（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在

　　cd /tmp

　　mkdir a

　　ls

（6）创建目录a1/a2/a3/a4

　　mkdir -p a1/a2/a3/a4

rmdir命令：删除空的目录

（7）将上例创建的目录a（/tmp下面）删除

　　　rmdir a

（8）删除目录a1/a2/a3/a4，查看有多少目录存在

　　　rmdir -p a1/a2/a3/a4
　　　ls -al

cp命令：复制文件或目录

（9）将主文件夹下的.bashrc复制到/usr下，命名为bashrc1

　　sudo cp ~/.bashrc /usr/bashrc1

（10）在/tmp下新建目录test，再复制这个目录内容到/usr

　　cd /tmp
　　mkdir test
　　sudo cp -r /tmp/test /usr

mv命令：移动文件与目录，或更名

（11）将上例文件bashrc1移动到目录/usr/test

　　cd /usr
　　sudo cp /usr/bashrc1 /usr/test

（12）将上例test目录重命名为test2　

　　sudo mv test test2

rm命令：移除文件或目录

（13）将上例复制的bashrc1文件删除

　　sudo rm bashrc1

（14）将上例的test2目录删除

　　sudo rm -r test2

cat命令：查看文件内容

（15）查看主文件夹下的.bashrc文件内容

　　cat ~/.bashrc

tac命令：反向列示

（16）反向查看主文件夹下.bashrc文件内容

　　tac ~/.bashrc

more命令：一页一页翻动查看

（17）翻页查看主文件夹下.bashrc文件内容

　　more ~/.bashrc

head命令：取出前面几行

（18）查看主文件夹下.bashrc文件内容前20行

　　head -n 20 ~/.bashrc

（19）查看主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

　　head -n -50 ~/.bashrc

tail命令：取出后面几行

（20）查看主文件夹下.bashrc文件内容最后20行

　　tail -n 20 ~/.bashrc

（21）查看主文件夹下.bashrc文件内容，只列出50行以后的数据

　　tail -n +50 ~/.bashrc

chown命令：修改文件所有者权限

（22）将hello文件所有者改为root帐号，并查看属性

　　cd /tmp
　　touch hello

　　sudo chown root /tmp/hello

　　ls -l /tmp/hello

Vim/gedit/文本编辑器：新建文件

（23）在主文件夹下创建文本文件my.txt，输入文本保存退出。

　　vi ~/my.txt

　　:wq

tar命令：压缩命令

（24）将my.txt打包成test.tar.gz  

　　tar czvf test.tar.gz my.txt

（25）解压缩到~/tmp目录

　　cd ~

　　mkdir tmp

　　tar -zxvf test.tar.gz -C ~/tmp

 

（二）熟悉使用MySQL shell操作 

（26）显示库：show databases;

（27）进入到库：use 库名;

（28）展示库里表格：show tables;

（29）显示某一个表格属性：desc 表格名;

（30）显示某一个表格内的具体内容：select *form 表格名;

（31）创建一个数据库：create database sc;

（32）在sc中创建一个表格：create table if not exists student(

id varchar(30),

name' varchar(50)

)  character set utf8;

（33）向表格student中插入具体内容：insert into 表格名(名)values(value);

插入记录包含自己的学号姓名。

（33）显示表的内容。

 

（三）熟悉Hadoop及其操作

（34）用图文与自己的话，简要描述Hadoop起源与发展阶段。

 　　　   （1）Hadoop起源于Google的三大论文：
　　　　GFS：Google的分布式文件系统Google File System
　　　　MapReduce：Google的MapReduce开源分布式并行计算框架
　　　　BigTable：一个大型的分布式数据库

　　　　（2）Hadoop的发展：

　　　　0.x系列版本：hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本
　　　　1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等
　　　　2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

 

 

（34）对比操作三个文件系统：分别用命令行与窗口方式查看windows,Linux和Hadoop的文件系统的用户主目录。

localhost:50070

hdfs dfs -ls

（36）一个操作案例：

1. 启动hdf             
   
2. 查看与创建hadoop用户目录。在用户目录下创建与查看input目录
   
3. 将hadoop的配置文件上传到hdfs上的input目录下。
   
4. 运行MapReduce示例作业，输出结果放在output目录下。
   
5. 查看output目录下的文件。
   
6. 查看输出结果
   
7. 将输出结果文件下载到本地。
   
8. 查看下载的本地文件。
   

         9.停止hdfs
             

 （37）设置Hadoop环境变量，在本地用户主目录下启动hdfs，查看hdfs用户主目录，停止hdfs。