大数据日知录【第八章:分布式文件系统】怎么存储大文件

GFS:

  每一个GFS文件被划分为不同的Chunk,同一个而文件的不同Chunk可能会存储在不同的Chunk服务器上,在每个Chunk服务器上,每一个Chunk会进一步被切分,被切分为Block(文件读取的最小单位)。Chunk是最基本的存储单元,Block是最小的读取单元。

HDFS:

  NameNode:
    相当于GFS里面的主控服务器 fsimage是内存命名空间元数据的镜像文件,editlog各种元数据操作的write ahead log文件

    由Active NameNode和Standby NameNode(vwudwbdyqy)两台服务器组成,以此作为高可用的方案(HA)  故障切换器:FC

    

  Secondary NameNode: 拉取NameNode中的editlog和fsimage,进行合并并传回NameNode,以此减轻NameNode的压力。

  DataNode:相当于GFS里面的Chunk服务器。

 

posted on 2016-10-29 16:11  zhouzhou0615  阅读(201)  评论(0编辑  收藏  举报

导航