大数据 - 随笔分类 - 地岁寒

Flink状态后端的对比及机制

摘要：1. Flink状态后端的类型： MemoryStateBackend FsStateBackend RocksDBStateBackend 2. 各状态后端对比： 2.1 MemoryStateBackend：如果没有配置，默认使用MemoryStateBackend,此时Flink的状态会保存阅读全文

posted @ 2022-10-21 19:42 地岁寒阅读(242) 评论(0) 推荐(0)

HDFS相关问题处理

摘要：机房搬迁后datanode启动失败，报错如下： 2022-10-21 10:28:40,551 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /HDATA/1/dfs/local/in_use.lock acquired by 阅读全文

posted @ 2022-10-21 14:51 地岁寒阅读(53) 评论(0) 推荐(0)

Yarn API

摘要：Yarn API： 1. 查询整个yarn集群指标： GET http://{cluster_domain_name}|{rm_ip:8088}/ws/v1/metrics 2. 查看指定队列的所有任务： GET http://{cluster_domain_name}/{rm_ip:8088}/w 阅读全文

posted @ 2022-10-18 14:04 地岁寒阅读(656) 评论(0) 推荐(0)

Flink on yarn使用cgroup做资源隔离与flink on k8s的资源隔离对比

摘要：1. Yarn Cgroup 阅读全文

posted @ 2022-09-21 16:47 地岁寒阅读(84) 评论(0) 推荐(0)

Yarn联邦

摘要：待续阅读全文

posted @ 2022-09-21 16:45 地岁寒阅读(33) 评论(0) 推荐(0)

Yarn相关进程

摘要：1. ResourceManager 2. webAppProxyServer 3. ApplicationHistoryServer 4. nodemanager 阅读全文

posted @ 2022-09-21 16:44 地岁寒阅读(52) 评论(0) 推荐(0)

Yarn使用ZK做高可用

摘要：1. 目前可用的YARN resourceManager状态存储实现类有如下三个： org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore # a ZooKeeper based state-store implem 阅读全文

posted @ 2022-09-19 20:18 地岁寒阅读(201) 评论(0) 推荐(0)

随笔分类 - 大数据