随笔分类 -  Mapreduce

Hadoop1.0 与Hadoop2.0
摘要：Hadoop1.0的局限-MapReduce •扩展性 –集群最大节点数–4000 –最大并发任务数–40000 （当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-Re 阅读全文
posted @ 2018-09-27 16:35 刚睡醒的猿 阅读(791) 评论(0) 推荐(1)
Hadoop mapreduce框架简介
摘要：传统hadoop MapReduce架构（老架构） 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路： 1.首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他 阅读全文
posted @ 2018-09-27 16:29 刚睡醒的猿 阅读(312) 评论(0) 推荐(0)