第三次作业03Linux与Hadoop操作实验

（一）熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。

cd命令：切换目录

（1）切换到目录 /usr/local

　　cd /usr/local

 

（2）去到目前的上层目录

　　cd ..

 

（3）回到自己的主文件夹

　　cd ~

 

 

ls命令：查看文件与目录

（4）查看目录/usr下所有的文件

　　cd /usr

　　ls -al

 

 

mkdir命令：新建新目录

（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在

　　cd /tmp

　　mkdir a

　　ls -al

 

（6）创建目录a1/a2/a3/a4

　　mkdir -p a1/a2/a3/a4

 

 

rmdir命令：删除空的目录

（7）将上例创建的目录a（/tmp下面）删除

　　rmdir a;  ls -al;

 

（8）删除目录a1/a2/a3/a4，查看有多少目录存在

　　rmdir -p a1/a2/a3/a4

　　ls -al

 

 

cp命令：复制文件或目录

（9）将主文件夹下的.bashrc复制到/usr下，命名为bashrc1

　　sudo cp ~/.bashrc /usr/bashrc1

 

（10）在/tmp下新建目录test，再复制这个目录内容到/usr

　　cd /tmp

　　mkdir test

　　sudo cp -r /tmp/test /usr

 

 

mv命令：移动文件与目录，或更名

（11）将上例文件bashrc1移动到目录/usr/test

　　sudo cp /usr/bashrc1 /usr/test

 

（12）将上例test目录重命名为test2

　　sudo  mv  test  test2

 

 

rm命令：移除文件或目录

（13）将上例复制的bashrc1文件删除

　　sudo rm bashrc1

 

（14）将上例的test2目录删除

　　sudo rm -r test2

 

 

cat命令：查看文件内容

（15）查看主文件夹下的.bashrc文件内容

　　cat ~/.bashrc

 

 

tac命令：反向列示

（16）反向查看主文件夹下.bashrc文件内容

　　tac ~/.bashrc

 

 

more命令：一页一页翻动查看

（17）翻页查看主文件夹下.bashrc文件内容

　　more ~/.bashrc

 

 

head命令：取出前面几行

（18）查看主文件夹下.bashrc文件内容前20行

　　head -n 20 ~/.bashrc

 

（19）查看主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

　　head -n -50 ~/.bashrc

 

 

tail命令：取出后面几行

（20）查看主文件夹下.bashrc文件内容最后20行

　　tail -n 20 ~/.bashrc

 

（21）查看主文件夹下.bashrc文件内容，只列出50行以后的数据

　　tail -n +50 ~/.bashrc

 

 

chown命令：修改文件所有者权限

（22）将hello文件所有者改为root帐号，并查看属性

 

 

Vim/gedit/文本编辑器：新建文件

（23）在主文件夹下创建文本文件my.txt，输入文本保存退出。

 

 

tar命令：压缩命令

（24）将my.txt打包成test.tar.gz

　　tar -zcvf test.tar.gz my.txt

 

（25）解压缩到~/tmp目录

　　tar -zxvf test.tar.gz -c/tmp

 

 

 

（二）熟悉使用MySQL shell操作 

（26）显示库：show databases;

 

（27）进入到库：use 库名;

 

（28）展示库里表格：show tables;

 

（29）显示某一个表格属性：desc 表格名;

 

（30）显示某一个表格内的具体内容：select * from 表格名;

 

（31）创建一个数据库：create database sc;

 

（32）在sc中创建一个表格：create table if not exists student( );

 

（33）向表格student中插入具体内容：insert into 表格名(名)values(value);

插入记录包含自己的学号姓名。

 

（34）显示表的内容。

 

 

（三）熟悉Hadoop及其操作

1.用图文与自己的话，简要描述Hadoop起源与发展阶段。

（1）Hadoop是什么？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HDFS）。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

（2）Hadoop的发展历程：

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。

目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。Cloudera是一家美国的企业软件公司，该公司在2008年开始提供基于Hadoop的软件和服务。GoGrid是一家云计算基础设施公司，在2012年，该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司，同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估的软件。

（3）Hadoop的四大特性：扩容能力、成本低、高效率、可靠性

Hadoop的架构模型：

NaneNode和ResourceManager的单节点架构模型：

 

 

 2.对比操作三个文件系统：分别用命令行与窗口方式查看windows,Linux和Hadoop的文件系统的用户主目录。

 

（1）文件系统对比

 （2）windows用户主目录

 （3）Linux的用户主目录

 

 （4）Hadoop的hdfs

 

（5）localhost:50070

 （6）hdfs dfs -ls

 

3.一个操作案例：

　　a.启动hdfs

　　b.查看与创建hadoop用户目录。

 

 　　c.在用户目录下创建与查看input目录。

 

 　　d.将hadoop的配置文件上传到hdfs上的input目录下。

 　　e.运行MapReduce示例作业，输出结果放在output目录下。

　　 f.查看output目录下的文件。　

　

　　g.查看输出结果

 　　h.将输出结果文件下载到本地。

 　　j.查看下载的本地文件。

 　　k.停止hdfs

 

 37.设置Hadoop环境变量，在本地用户主目录下启动hdfs，查看hdfs用户主目录，停止hdfs。