摘要：MapReduce适用的应用场景特点：任务可被分解为相互独立的子问题MapReduce编程模型共分5个步骤： 1 迭代。遍历输入数据，并将之解析成key/value对 2 将输入key/value对映射成另外一些key/value对 3 依据key对中间数据进行分组 4 以组为单位对数据进行... 阅读全文

摘要：MapReduce是一个分布式计算框架，主要由：编程模型和运行时环境组成MapReduce采用Master/Slave架构: 主要由以下部分组成： 1 Client: 用户编写MapReduce程序通过Client提交到JobTracker,也能通过Client查看作业运行状态 2 JobTr... 阅读全文

摘要：管理网络中跨多台计算机存储的文件系统称为分布式文件系统Hadoop有一个称为HDFS的分布式系统HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上HDFS的构建思路是这样的：一次写入、多次读取是最高效的访问模式，HDFS主要特性： 1 支持超大文件，甚至TB的文件 2 检测和快速应对... 阅读全文