摘要：
MapReduce框架运转在<key,value>键值对上，也就是说，框架把作业的输入看成是一组<key,value>键值对，同样也产生一组<key,value>键值对作为作业的输出，这两组键值对可能是不同的。 <!--more--> 一个MapReduce作业的输入和输出类型如下图所示：可以看出在 阅读全文
摘要：
map阶段处理的数据如何传递给reduce阶段，是MapReduce框架中最关键的一个流程，这个流程就叫shuffle。<!--more--> shuffle: 洗牌、发牌——（核心机制：数据分区，排序，合并）。 shuffle是Mapreduce的核心，它分布在Mapreduce的map阶段和re 阅读全文
摘要：
Reduce大致分为copy、sort、reduce三个阶段，重点在前两个阶段。copy阶段包含一个eventFetcher来获取已完成的map列表，由Fetcher线程去copy数据，在此过程中会启动两个merge线程，分别为inMemoryMerger和onDiskMerger，分别将内存中的数 阅读全文
摘要：
Map阶段流程:input File通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map tas 阅读全文
摘要：
本地运行模式： 集群运行模式： 总结： mapreduce的运行模式 概念：所谓的运行模式指的是由谁给mr程序提供运算时候所需要的硬件资源 两种模式： 集群模式：程序计算的资源由yarn分配 分布式计算的效果 生产环境线上环境的模型 本地模式：程序计算的资源由程序所在的机器本地系统模拟出 单机计算的 阅读全文
摘要：
<!--more--> 阅读全文
摘要：
MapReduce的处理流程解析 Mapper任务执行过程详解 l第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size。每一个切片由一个MapTask处理。（getSplits） l第二阶段是对切片中的数据按照一定的规则解 阅读全文
摘要：
MapReduce是一个分布式运算程序的编程，框架核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。 既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce操作这个输入（input），通过本身定义好的计算模型，得到一 阅读全文
摘要：
一个完整的mapreduce程序在分布式运行时有三类实例进程 MRAppMaster:负责整个程序的过程调度及状态协调！<!--more--> MapTask：负责map阶段的整个数据处理流程！ ReductTask:负责reduce阶段的整个数据处理流程！ MRAppMaster:负责整个程序的过 阅读全文
摘要：
核心： 分而治之，先分再和 俩个阶段： Map阶段(分)： 如果任何可以拆分并且没有依赖，那么就可以把复杂的任务拆分成小任务 拆分成下任务后，进行并行计算，提高处理效率 Reduce阶段(合)： 把map阶段的各个局部结果进行汇总，得到最终结果！ 来源： 来源于生活， 由谷歌提出，主要用于搜索领域， 阅读全文