HDFS随笔(1)

(1) HDFS主要是用于做什么的？ 

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

(2)HDFS存储数据架构图

 

HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。

Client：就是客户端。

       1、文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储。

       2、与 NameNode 交互，获取文件的位置信息。

       3、与 DataNode 交互，读取或者写入数据。

       4、Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS。

       5、Client 可以通过一些命令来访问 HDFS。

NameNode：就是 master，它是一个主管、管理者,是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表, 接收用户的操作请求。 

      1、管理 HDFS 的名称空间。

      2、管理数据块（Block）映射信息

      3、配置副本策略

      4、处理客户端读写请求。

DataNode：就是Slave,提供真实文件数据的存储服务,NameNode 下达命令，DataNode 执行实际的的读/写操作操作,。

文件块（ block）： 最基本的存储单位。 

对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 HDFS默认Block大小是128MB， 因此，一个256MB文件，共有256/128=2个Block. 
与普通文件系统不同的是，在 HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 
Replication：多复本。默认是三个。通过hdfs-site.xml的dfs.replication属性进行设置。

       1、存储实际的数据块。

       2、执行数据块的读/写操作。

Secondary NameNode：并非 NameNode 的热备。当NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。

       1、辅助 NameNode，分担其工作量。

       2、定期合并 fsimage和fsedits，并推送给NameNode。

       3、在紧急情况下，可辅助恢复 NameNode。

(3) HDFS 如何读取文件

HDFS 读取文件步骤图： 

HDFS的文件读取原理，详细解析如下：

     1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。

     2、DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。

     3、前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方 法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。

     4、数据从datanode源源不断的流向客户端。

     5、如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。

     6、如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。 

(4)HDFS 如何写入文件？

HDFS的文件写入步骤图:

HDFS的文件写入原理详细步骤解析：

      1.客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。

      2.DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。

      3.前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。

      4.DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。

      5.DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。

      6.客户端完成写数据后，调用close方法关闭写入流。

      7.DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成

(5)数据存储服务

HDFS client上传数据到HDFS时，首先，在本地缓存数据，当数据达到一个block大小时，请求NameNode分配一个block。 NameNode会把block所在的DataNode的地址告诉HDFS client。 HDFS client会直接和DataNode通信，把数据写到DataNode节点一个block文件中。

默认数据块大小为128MB，可配置。若文件大小不到128MB，则单独存成一个block。 
为何数据块如此之大？ 
数据传输时间超过寻道时间（高吞吐率） 
一个文件存储方式？ 
按大小被切分成若干个block，存储到不同节点上，默认情况下每个block有三个副本。

 
HDFS Block的设计理念：一个文件由哪些块组成。一个块存储在哪些节点上。好处：易于分摊到各个节点。如下：

block1:node1,node2,node3 
block2:node2,node3,node4 
block3:node4,mode5,node6 
block4:node5,node6.node7