yarn resourcemanager调优

问题现象

在作业提交比较多的时候，集群资源还有剩余，但是分配跟不上，导致peeding比较多，peeding时间长达10分钟。
![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161048454.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

调优方法

1.开启批量分配资源功能，在小任务多的时候能提高吞吐量。

2.限制一次批量分配数量。默认没有限制，会导致节点计算资源不均衡，部分节点把所有的vcore都分配了，而部分节点一个也没分配。

3.关掉持续调度功能，这个功能在集群规模比较大（大于75个节点）的时候会影响resouremanager的性能，该功能在hadoop2.7以后已经废弃。

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161111543.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

cdh官方建议

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161127454.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

调优操作
![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161137228.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

调优效果
调优前，上午特别堵

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161158484.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

调优后，上午部分队列资源有限制才堵，整体集群快速分配资源，单个任务peeding等待不超2分钟

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210329161213840.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

持续调度相关说明

https://blog.csdn.net/zhanyuanlin/article/details/78799131

posted @ 2021-03-29 16:14  彬在俊  阅读(217)  评论(0)    收藏  举报