摘要: 1.目标 程序可以动态修改参数 2.实现 项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.a 阅读全文
posted @ 2023-12-17 21:35 SpringCore 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列,不能满足生产的要求。 1个队列在任务极限的情况下,容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列,如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 阅读全文
posted @ 2023-12-17 14:47 SpringCore 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler 阅读全文
posted @ 2023-12-17 13:19 SpringCore 阅读(37) 评论(0) 推荐(0) 编辑