摘要:Yarn : 新的计算框架,是一个全局资源管理器,负责整个集群的资源管理和分配 一. Yarn产生背景 Hadoop1.0MR有局限性,概括为以下几个方面 : 扩展性差 可靠性差 资源利用率低 无法支持多种计算框架 为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker 阅读全文
posted @ 2019-08-28 17:18 BirdieGarden 阅读 (86) 评论 (0) 编辑
摘要:Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储 Hadoop核心构成 分布式文件系统HDFS Hado 阅读全文
posted @ 2019-08-28 17:14 BirdieGarden 阅读 (34) 评论 (0) 编辑