随笔分类 -  mapreduce

摘要：简单介绍： Shuffle发生在map输出到reduce输入的过程，Shuffle翻译过来是“洗牌”，顾名思义该过程涉及数据的重新分配，主要分为map任务输出数组分区，排序，规约写入本地磁盘，reduce任务拉取文件排序。 Map端： map端输出时，先将数据写入内存中的环形缓冲区，默认大小为100 阅读全文

摘要：Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，如果其大小超过一定的阈值，则写道磁盘上，否则直接放到内存中； Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多； Sort阶段：与Me 阅读全文

摘要：read阶段：maptask通过用户编写的RecordReader，从输入InputSplit中解析出一个个k，v对； map阶段：该节点主要是将解析出的k，v交给用户编写map()函数处理，并产生新的k，v； collect阶段：在用户编写map函数中，当数据处理完成后，一般调用OutputCol 阅读全文

摘要：1.mapreduce的定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架； MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个Hadoop集群上； 2.mapreduce的核心思 阅读全文