9.16
1. HDFS基本介绍
a. HDFS是服务于Hadoop的分布式文件系统
b. 块的概念
HDFS也有块的概念,不过是更大的单元,默认是128MB。与单一磁盘上的文件系统相似,HDFS上的文件也被分为以块为大小的分块,作为单独的单元存储。
c. NameNode和DataNode
HDFS集群以Master-Slave模式运行,主要有两类节点:一个NameNode(即Master)和多个DataNode(即Slave)。
NameNode:它管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是NameNode镜像文件(fsimage)和操作日志文件(edit log)。
DataNode:DataNode是文件系统的工作节点,他们根据客户端或者hiNameNode的调度存储和检索数据,并且定期向NameNode发送他们所存储块(block)的列表。
浙公网安备 33010602011771号