2017年10月27日
hadoop记录篇5-eclipse开发mapreduce
摘要： 一。 MAP REDUCE执行原理 MapReduce主要分为三个阶段 Map阶段 Shuffle阶段 Reduce阶段 1》Map阶段：Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作... 阅读全文
posted @ 2017-10-27 12:46 饺子吃遍天 阅读(246) 评论(0) 推荐(0)
hadoop记录篇4-mapreduce2(yarn)集群安装和ha高可用
摘要： 一。 yarn架构 mapreduce从 0.2.3之后 进行了重构， 发布新的mapreduce 版本v2， 也可以称为 yarn 引入了资源调度的概念 之前的JobTracker 被拆分成了 Resouce Manager和ApplicationMaster... 阅读全文
posted @ 2017-10-27 08:56 饺子吃遍天 阅读(212) 评论(0) 推荐(0)