HDFS基本概念

HDFS简介:

HDFS特性:

            首先是一个文件系统,用于存储文件,提供统一的命名空间的目录树结构 便于用户操作文件系统!
            其次,他是一个分布式文件存储系统,分布式意味着多台机器 当中不同的角色 各司其职,共同配合!
 

master/slave主从架构:

主角色:namenode :管理文件系统元数据[目录树结构 文件和块的对应信息]
从角色:datanode:负责具体数据块存储,定时向namenode进行块汇报
 

分块存储:

HDFS中的文件物理上是分块存储的,可提供配置参数来规定。Hadoop1.0默认64 M Hadoop2.0默认128M
 

名字空间:

HDFS为用户提供一个统一的抽象目录树。
 

副本机制:

为了容错,文件所有的block都会由副本。默认副本数为3.
 

一次写入,多次读出:

HDFS支持一次写入,多次读出。但不支持文件修改。所有适合做大数据分析的底层存储服务。

HDSF结构图:

 
 



posted @ 2019-09-10 23:26  DaBai的黑屋  阅读(182)  评论(0编辑  收藏  举报
Live2D