摘要：MapReduce概述 1、源自google的MapReduce论文，论文发表于2004.12 2、Hadoop MapReduce是google MapReduce的克隆版 3、MapReduce优点：海量数据离线处理&易开发&易运行（易开发和易运行只是相对而言） 4、MapReduce缺点：实时 阅读全文

摘要：简述 HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错 阅读全文

摘要：分块磁盘也是由数据块组成的，一般默认大小是512字节，构建磁盘之上的文件系统一般是磁盘块的整数倍。 在HDFS系统中，为了便于文件的管理和备份，引入分块概念（block）。这里的 块 是HDFS存储系统当中的最小单位，HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时，若文件大小大于 阅读全文