随笔分类 -  YARN

Spark on YARN
摘要：Spark on YARN YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用 阅读全文
posted @ 2018-10-10 11:09 子墨言良 阅读(306) 评论(0) 推荐(0)
YARN的架构及原理
摘要：1. YARN产生背景 MapReduce本身存在着一些问题： 1）JobTracker单点故障问题；如果Hadoop集群的JobTracker挂掉，则整个分布式集群都不能使用了。 2）JobTracker承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如Stor 阅读全文
posted @ 2018-04-15 11:33 子墨言良 阅读(20445) 评论(0) 推荐(1)