Yarn提交Flink任务参数介绍

一、参数介绍

作业模式：yarn-per-job

基本参数	描述
-ynm(Custom Yarnname)	自定义的Yarn名字
-yqu	指定Yarn队列名
-yn (TaskManager)	Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成
-ys(Slot)	该参数为单个TaskManager所拥有的槽位数
-yjm(JobManager Memory)	该参数为分配给Jobmanager的堆内存资源,不需要太大
-ytm(TaskManager Memory)	分配给单个TaskManager的堆内存资源
-p	并行度
-yst(Yarnstreaming)	启动Yarn的流式
-yid	指定任务运行在哪个YarnSession之上
-yj(Yarnjar)	Flink的jar包路径
-yq(Yarnquery)	显示Yarn的资源情况
-yz(Yarn Zookeeper Namespace)	在Zookeeper创建一个命名空间
-yd	使用Detached模式进行部署,可以运行任务后无需再控制台保持连接
-c	指定jar包中class全名

 

高级参数	描述
-Dtaskmanager.memory.jvm-overhead.max=2048m	为其它jvm开销保留的本机内存
-Dtaskmanager.memory.jvm-overhead.min=192m	为其它jvm开销保留的本机内存
-Dtaskmanager.memory.managed.fraction=0.4	由flink管理的本地内存
-Dexecution.checkpointing.tolerable-failed-checkpoints=3	checkpoint容忍失败次数

 

二、Flink服务器con日志获取

1、日志路径

进入对应flink执行节点

/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002