摘要: mapreduce三大组件:Combiner\Sort\Partitioner 默认组件:排序,分区(不设置,系统有默认值) 一、mapreduce中的Combiner 1、什么是combiner Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件,它 阅读全文
posted @ 2017-04-14 17:28 凌-风 阅读(5907) 评论(3) 推荐(0)
摘要: 一、mapreduce入门 1、什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapredu 阅读全文
posted @ 2017-04-14 11:54 凌-风 阅读(133399) 评论(2) 推荐(15)