点击我的GIT
摘要:简介 一种分布式的计算方式指定一个Map(映#x5C04;)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组 Pattern map: (K1, V1) → list(K2, V2) combine: (K2, lis 阅读全文
posted @ 2017-07-12 16:33 _1900 阅读(184) 评论(0) 推荐(0) 编辑
摘要:YARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源。如果你的应用程序也需要借助YARN 阅读全文
posted @ 2017-07-12 11:31 _1900 阅读(489) 评论(0) 推荐(0) 编辑
摘要:Hadoop - YARN 旧的MapReduce架构 JobTracker: 负责资源管理,跟踪资源消耗和可用性,作业生命周期管理(调度作业任务,跟踪进度,为任务提供容错) TaskTracker: 加载或关闭任务,定时报告认为状态 此架构会有以下问题: 总的来说就是单点问题和资源利用率问题 YA 阅读全文
posted @ 2017-07-12 11:05 _1900 阅读(321) 评论(0) 推荐(0) 编辑