摘要:
概述 节点属性是一种描述节点的方式没有资源保障。可以用来让应用挑选正确的节点 特性 节点属性有一下几个特性: 一个节点可以有多个属性 值可以与标记到节点的属性相关联,目前只支持字符串 和node label不一样,node属性不需要在集群级别显示指定,但是有api可以列出集群级别的属性 作为无形的资 阅读全文
摘要:
概述 节点属性是一种描述节点的方式没有资源保障。可以用来让应用挑选正确的节点 特性 节点属性有一下几个特性: 一个节点可以有多个属性 值可以与标记到节点的属性相关联,目前只支持字符串 和node label不一样,node属性不需要在集群级别显示指定,但是有api可以列出集群级别的属性 作为无形的资 阅读全文
摘要:
概述 节点标签是对节点分组,应用可以指定在哪里运行。 先在只支持node分区: 1.一个node 只能有一个标签,默认标签为default 2.用户需要配置一个分区可以有多少资源 3.有2种节点分区 3.1 独占的,当准确的匹配node分区的时候 3.2非独占,就是没有准确的node 分区,被分配到 阅读全文
摘要:
概述 YARN支持可扩展资源模块,默认YARN会跟着所有node,应用和队列中的内存和cpu,但是资源只能扩展可计数的资源,比如cpu ,内存,但是GPU和软件许可是不行的。 配置 yarn-site.xml 属性 值 yarn.resourcemanager.resource-profiles.e 阅读全文
摘要:
概述 YARN的资源管理器支持高可用 体系结构 RM故障转移 RM HA是主从结构,任何时候只有一个主,多个从。转移通过admin客户端或者集成的故障转移控制器自动故障转移。 手动事务和故障转移 没有配置自动故障转移的情况下,管理员可以手动的进行故障转移,使用yarn rmadmin 自动故障转移 阅读全文
摘要:
概述 ResourceManager是集群中绝对的资源管理工具,并且调度应用在YARN上运行。因此对于YARN来说是一个单点问题。这个文档介绍RM的重启。 有2种重启的方式: 1.非工作保留RM重启:就是RM重启并不保存工作,并且会重启之前运行的应用 2.工作保留RM重启:RM重启会保留工作状态,并 阅读全文
摘要:
目的 文档主要描述了FairScheduler,一个可拔插的调度去,允许YARN应用公平共享集群上的资源。 概述 公平调度是分配资源的一种方式,公平的,平均的给所有应用分配资源。下一代Hadoop,可以调度多种资源类型,默认公平调度是在内存上的。也可以配置调度cpu和内存。当只有一个app运行的时候 阅读全文
摘要:
3 Hadoop: Capacity Scheduler 3.1 目的 这个文档主要描述CapacityScheduler是一个可拔插的调度器,允许多用户安全的共享巨大的集群,这样他们的应用可以及时的在约束允许的情况下分配资源。 3.2 概述 CapacityScheduler被设计成共享的方式运行 阅读全文
摘要:
YARN的基本想法是从资源管理和job的监控调度中分离出来(也就是从mapreduce中分离出来)。有一个全局的资源管理器(ReourceManager,RM)和每个应用一个的应用主程序(ApplicationMaster AM)。应用可以是一个job也可是一个job的有向无环图。 YARN还有个F 阅读全文
|