随笔分类 -  yarn

摘要：1.先决条件 要使用yarn的capcitiy调度器,必须开启yarn的ACLs,否则队列ACLs设置不生效 开启yarn ACLs: # hadoop: core-site.xml hadoop.security.authorization=true #开启服务级别验证,否则hadoop组件的ac 阅读全文

摘要：Cgroups可以控制linux 上应用程序的资源(内存、CPU)使用，yarn可以使用Cgroups来CPU使用。Cgroups的配置，在yarn-site.xml中设置：1)启用Cgroups:Configuration NameDescriptionyarn.nodemanager.container-executor.classThis should be set to “org.... 阅读全文

摘要：yarn 服务注册功能是让长期运行的程序注册为服务一直运行。yarn中运行的程序分为两类，一类是短程序，一类一直运行的长程序.第二种也称为服务。yarn服务注册就是让应用程序能把自己注册为服务，如hbase本节是比较高级，以后再研究~来自为知笔记(Wiz) 阅读全文

摘要：NM负责启动和管理节点上的containers。AM通过containers来运行任务。Health Checker Service 创建检查服务 NM运行一个检查服务来检查节点的状态，该服务可以使用用户自定义的检查脚本。如果节点检查不通过，NM通过heart beat通知RM，RM将不再使用该节点上新增的container。Disk Checker 磁盘检查 disk checker... 阅读全文

摘要：本节介绍： 使用yarn 高级提交写yarn应用程序。其实已经yarn底层API。MR计算框架对底层的API实现了封装。高级提交指直接使用yarn的三种接口来提交应用程序：1)YarnClient 通过该接口使用客户端和RM通信2)AMRMClientAsync AM RM使用该接口通信3)NMClientAsync AM NM使用该接口通信这三个接口封装了三种协议：ApplicationC... 阅读全文

摘要：一、Overview 介绍 yarn timeline server用于存储和检查应用程序过去和现在的信息(比如job history server)。有两个功能：1.Persisting Application Specific Information 保存应用程序特定的信息 收集和检索应用程序或者框架的特定信息。如装mr任务的map\reduce数量通过TimeClient发布到T... 阅读全文

摘要：参考:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-label-based-scheduling/ 为不同的DATANODE打标签,通过标签来实现不同的资源队列.比如有10台128G的内存跑MR任务,后来又加了10台256G的内存跑SPARK,可分别设置为不同的标签,如mr spark,提交mr spakr任务时分别提交到mr spark... 阅读全文

摘要：yarn自带了web接口，默认是和RM一起的(8088端口)。但是为了减少从web接口受到的攻击，可以把Web接口单独放在别的机器上。设置下web代理就行了ConfigurationsConfiguration PropertyDescriptionyarn.web-proxy.addressThe address for the web proxy as HOST:PORT, if this i... 阅读全文

摘要：RM有单点失败的风险，但是可以做HA。 RMs HA通过master/standby这种结构实现，一个master是active的，其它standby是inactive的。可能通过命令行切换主备节点，也可以在遇到问题时自动切换。手动切换： 自动切换失效时，管理员可以执行手动切换。步骤是：先把原来active的RM切换为inactive,然后把一个standby的RM切换为active，通过y... 阅读全文

摘要：概述：RM是yarn中最重要的组件。但是只有一个RM，因此存在单点失败的问题。RM的重启有两种方式：1.(Non-work-preserving RM restart) 不保留工作状态的重启 这种情况下，RM把应用(application)的状态保存在一个插件化的state-store里，等RM重启后，RM重新加载这些状态，然后kick之前正在执行的任务，用户不必重新提交任务。2.(work... 阅读全文

摘要：参考资料： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html http://han-zw.iteye.com/blog/2322189 (转载其部分内容) 1.介绍2.队列分层3.配置3.1配置yarn-site.xml3.2 Allocation file格式3.3 队... 阅读全文

摘要：yarn的了出现主要是为了拆分jobtracker的两个核心功能：资源管理和任务监控，分别对应resouceManager(RM)和applicationManager(AM).yarn中的任务可以传统的mapreduce任务,或者是DAG任务。 yarn的架构：client向RM提交任务，RM向各个NM请求资源，NM响应后，RM为任务分配资源，得到资源的后调度器启动AM，AM为任务... 阅读全文

摘要：官网的写的太难懂，参考：http://www.360doc.com/content/14/0603/14/14935022_383254798.shtmlCapacity Scheduler 一种可共享、多租户、用户友好的调度器。太过于复杂，略来自为知笔记(Wiz) 阅读全文