HDFS概念

1、What is HDFS？
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色

2、HDFS优\劣势
优点：高容错性，适合处理大数据，可以构建在廉价机器上
缺点：不适合低延时数据访问，无法高效的对大量小文件进行存储，不支持并发写入，只支持append追加，不支持文件的随即修改

3、Namenode主要职责
NameNode（nn）：就是Master，它是一个主管、管理者。
（1）管理HDFS的名称空间；
（2）配置副本策略；
（3）管理数据块（Block）映射信息；
（4）处理客户端读写请求。

4、DataNode主要职责
DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读/写操作。

5、HDFS默认文件块大小及原因。
块的大小默认为128M，也可以通过配置参数来规定。
原因：目前磁盘的传输速率普遍为100MB/s，寻址时间为传输时间的1%时，为最佳状态。寻址时间一般为10ms，传输时间=10ms/0.01=1s，block大小=1s*100MB/s=100MB，所以最佳的block大小为100MB，设定block大小为128MB传输为二进制时比较方便，而且也不会占用整个块的空间。