HDFS

HDFS以流式数据访问模式来存储超大文件,特点

超大文件:GB,TB,甚至是PB级
流式数据访问:
商用硬件:硬件普通普遍
低时间延迟的数据访问:HDFS并不适合地时间延迟数据访问的应用,HBase是更好的选择
大量的小文件
单个writer

数据块

磁盘块(512字节)->文件系统块(磁盘块的整数快)
HDFS的块(64MB)->文件(多个块)
分块的好处:一个文件的大小可以大于网络中任意一个磁盘的容量、
使用抽象块而非整个文件作为存储单元,大大简化了子系统的设计

namenode和datanode

namenode(管理者):管理文件系统的命名空间。
datanode是文件系统的工作节点。根据需要存储并检索数据块,并定期向namenode发送他们所存储的块的列表。
namenode是唯一存储元数据与文件到数据块映射的地方。

posted @ 2018-04-09 20:18  blog_hfg  阅读(146)  评论(0)    收藏  举报