Hadoop入门学习随笔

推荐视频:慕课网http://www.imooc.com/video/8107

 

===Hadoop是什么?

开源的、分布式存储+分布式计算平台

http://hadoop.apache.org

 

===Hadoop的组成

包括两个核心组成:

HDFS:分布式文件系统,存储海量的数据

MapReduce:并行处理框架,实现任务分解和调度

 

===Hadoop可以用来做什么?

搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务。

 

===Hadoop的优势:

高扩展:理论上是可以做到无限的,因为在它的设计框架下面,可以通过一些简单的增加一些硬件来提升性能和容量

低成本:借鉴Google的思想,借助普通的PC机就可以实现。

成熟的生态圈:借助开源的力量,围绕Hadoop有很多开源的工具。

 

===Hadoop的应用情况

 

===Hadoop生态系统

*HDFS全称:Hadoop Distributed File System

常用开源工具有:

Hive:利用Hive可以不用编写复杂的Hadoop任务程序,只需要写一个SQL语句,Hive就会将SQL转换成一个Hadoop任务。降低了使用Hadoop的门槛。

HBase:存储结构化数据的分布式数据库。与传统的关系型数据库不同,HBase放弃了事务这个特性,追求更高的扩展。和HDFS不同,HBase提供数据的随机读写和实时访问,实现对数据库的读写功能。

zookeeper:动物管理员。就像动物管理员一样,它要监控Hadoop集群里面每个节点的状态,管理整个集群的配置,维护节点之间的数据一致性等等。

 

===Hadoop的安装

(1)前提准备

①、安装JDK

②、配置无秘钥访问。

 

(2)配置文件

我这里使用的是hadoop-2.5.1。各个配置文件的详解,可以参考一下两个网站:

官网:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

博客:http://blog.163.com/yangshaohui_2004/blog/static/618545020144495622847/

博客:http://slaytanic.blog.51cto.com/2057708/1101111/

 

(3)环境变量

vim /etc/profile

export HADOOP_HOME=/opt/hadoop1.2.1

exprot PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

source /etc/profile

 

(4)结果验证

配置完了之后,在任意位置输入hadoop命令,都应该可以正常执行。

在执行之前,需要对namenode进行格式化操作:hadoop namenode -format

使用start-all.sh启动hadoop。

使用jps命令查看hadoop是否正常执行,正常执行时的进程如下:

7005 JobTracker

7329 Jps

6824 DataNode

7259 TaskTracker

6647 NameNode

7001 SecondaryNameNode

 

===HDFS的基本概念

-块(Block)  HDFS的文件被分成块进行存储,块的默认大小64MB,块是文件存储处理的逻辑单元。

-NameNode   是管理节点,存放文件元数据。包括:①文件与数据块的映射表,②数据块与数据节点的映射表

-DataNode    HDFS的工作节点,存放数据块。

 

===HDFS数据管理策略

1)数据块的放置:每个数据块3个副本,分布在两个机器内的三个节点。

2)心跳检测:DataNode与NameNode之间有一个心跳协议,每隔多少秒钟DataNode会想NameNode报告状况(发送心跳信息)。

3)二级NameNode:二级NameNode定期同步元数据映像文件和修改日志。NameNode发生故障时,备胎转正。

 

===HDFS读取文件的流程

1)从客户端向NameNode发送读取数据请求。这个请求可能是一个Java程序,也可能是一个命令行。

2)NameNode返回元数据信息。告诉客户端,这些数据都有哪些块,这些块都在哪里可以找到等。

3)客户端从DataNode中下载数据块并进行组装。

 

===HDFS写入文件的流程

1)将文件拆分成固定大小的块,通知NameNode。

2)NameNode会找到一些可用的DataNode返回给客户端。

3)根据返回的结果将数据块写入DataNode。写入时,先写入一个块。

4)对写入的数据块进行进行流水线复制。

5)更新元数据。告诉NameNode更新已经完成,创建了一个新的数据块。

 

===HDFS特点:

1、数据冗余,硬件容错

2、流式的数据访问:就是一次写入多次读取,一旦写入之后不会进行修改。

3、适合存储大文件。如果大量的小文件的话,NameNode的压力会很大。

4、适用性和局限性

-适合数据批量读写、吞吐量高

-不适合交互式应用,低延迟很难满足

-适合一次写入多次读取,顺序读写

-不支持多用户并发写相同文件

 

===HDFS使用

HDFS里面提供了Shell接口。

hadoop namenode -farmat:安装完hadoop在启动之前的格式化命令

hadoop fs -ls /xxxx:打印当前HDFS的文件夹。/xxxx为要打印的文件夹路径。/为根目录。

hadoop fs -put xxxx:将本地文件提交到HDFS。xxxx为要提交的文件名。

hadoop fs -mkdir xxxx:建立路径。xxxx为要建立的路径。

hadoop fs -rm xxxx:删除文件。xxxx为要删除的文件。

hadoop fs -cat xxxx:查看文件。xxxx为要查看的文件。

hadoop fs -get xxxx yyyy:从HDFS下载文件至本地。xxxx为要下载的文件名,yyyy为本地路径。

hadoop dfsadmin -report:查看文件系统的所有信息。

 

===什么是MapReduce?

简单的说MapReduce采用了分而治之的思想,将一个大任务分成多个小的子任务(Map),

然后由多个小节点并行执行然后合并结果,合并的过程就是(Reduce)。

其实,很多计算的任务都可以抽象成两个步骤,一个Map、一个Reduce。

如:找出5000张扑克中,缺失的一张。

再如:100GB的网站访问日志文件,找出访问次数最多的IP地址

1)先把日志进行切分。如按时间切分。

2)统计没份文件中相同IP的访问次数。

3)根据一定的规则进行交换,归约IP的访问次数。

 

网上摘录的对 MapReduce 的最简洁明了的解析:

我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。

现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。

 

===MapReduce的运行流程(Hadoop1.X)

--Job&Task:

一个任务/作业。

如找出访问次数最多的IP地址。一个Job下分为多个Task,Task又分为MapTask和ReduceTask。

--JobTracker:

一个Mast管理节点。

负责接收客户端的任务,将任务房到候选队列里面,在适当的时候进行调度,选择一个Job出来,将Job分成多个Map和Reduce,然后分发给TaskTracker来处理。总结来说JobTracker的角色如下:

•作业调度

•分配任务、监控任务执行进度(TaskTracker在做的时候会定时给JobTracker通知状态)

•监控TaskTracker的状态

 

 --TaskTracker:

在部署的时候,TackTracker往往和HDFS的DataNode是同一组物理节点,以保证计算是跟着数据走。总结来说TaskTracker的角色如下:

•执行任务

•汇报任务状态

 

===MapReduce作业执行过程

 

对输入数据进行分片,按照一定的规则分给TaskTracker。分配Map任务。

任务处理好之后产生一个中间结果(key-value对),key和value根据一些映射规则进行交换。

然后到Reduce端进行处理,运算完之后,数据结果写会到HDFS里面。

Map-Reduce可以进行多次。完成复杂的计算操作。

 

===MapReduce的容错机制

有两种机制:

1)重复执行:默认重复执行4次只有,如果仍然出错,将放弃执行

2)推测执行:在整个任务执行过程中,需要等待整个Map端都计算完成之后,Reduce端才会开始。

这个时候,可能会存在某个节点计算特别慢。JobTracker一旦发现这种情况,将重新安排一个TaskTracker去做同样的事情,只要这个事情两者谁先完成,就会将另一个终止执行。

 

===MapReduce应用案例(WordCount单词计数)

1)思考实现过程

计算文件中出现每个单词的频数,输出结果按照字母顺序排序。

2)编写实现代码。如WordCount.java,包含Mapper类和Reducer类。

3)编译WordCount.java成Class。命令如下:

  javac -classpath /opt/hadoop-1.2.1/hadoop-cour-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java

4)打包。命令如下例:

  jar -cvf WordCount.jar *.classes

5)作业提交。命令如下:

  hadoop jar WordCount.jar WordCount input output

 

===利用MapReduce进行排序

数据排序是许多任务数据中的第一项任务。

基本思路:将数据进行分片,然后进行Reduce真正排序。如下例:

 

--END--

posted @ 2016-03-30 10:08  大墨垂杨  阅读(689)  评论(0编辑  收藏  举报