大数据面试——Flink

一、公司怎么提交的实时任务,有多少 Job Manager、TaskManager 是多少


我们使用 yarn session 模式提交任务;另一种方式是每次提交都会创建一个新的 Flink集群,为每一个 job提供资源,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下:申请7个taskManager,每个8核,每个taskManager 有 32768M内存。

bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.* -nm *-* -d

集群默认只有一个 JobManager。但为了防止单点故障,我们配置了高可用。对于 standlone 模式,我们公司一般配置一个主 Job Manager,两个备用 Job Manager 然后解和 ZK 的使用,来达到高可用;对于 Yarn模式,Yarn在Job Manager 故障会自动进行重启,所以只需要一个,我们配置的最大重启次数是10次。

posted @ 2020-11-22 13:00  Java程序员进阶  阅读(84)  评论(0编辑  收藏  举报