2018年2月2日
根据MapReduce on YARN初识YARN架构
摘要： YARN简介： Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨 阅读全文
posted @ 2018-02-02 11:14 LCode丶 阅读(213) 评论(0) 推荐(0)
离线计算框架 MapReduce
摘要： 离线计算框架 MapReduce 思想：分而治之（将大数据集分为小的数据集） 思想：分而治之（将大数据集分为小的数据集） 将计算过程分为两个阶段，Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle连接Map和Reduce两个阶段 Map Task将 阅读全文
posted @ 2018-02-02 11:07 LCode丶 阅读(860) 评论(0) 推荐(0)