mapreduce和yarn集群

mapreduce ：

 先分再合，分而治之

 

 

 

 

 

 分布式计算概念：

计算方式，与集中式计算相对。将应用拆分成小的部分，分配给多台计算机处理，mapreduce是分布式的计算框架。

MR的特点：易于编程，良好的扩展性，高容错性，海量数据的离线处理

局限性：实时计算性差，不能进行流式计算

 

 

  

 

 

 

 练习了一下mapreduce提交到yarn，运行求pi和求wordcount

 

 

 

 

  

 

 

 

  

 

 yarn：

 

 yarn是一个通用的资源管理系统

 

 

 

 yan的官方架构图：

 

 

 

 

 yarn的三大组件