摘要:
前言: 根据前面的几篇博客学习,现在可以进行MapReduce学习了。本篇博客首先阐述了MapReduce的概念及使用原理,其次直接从五个实验中实践学习(单词计数,二次排序,计数器,join,分布式缓存)。 一 概述 定义 MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(M 阅读全文
摘要:
一 概述 YARN是一个资源管理、任务调度的框架,采用master/slave架构,主要包含三大模块:ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)。 >ResourceManager负责所有资源的监控、分配和管理,运行在主节点; 阅读全文