Flink on yarn提交job案例

# 1. 启动集群
./bin/start-cluster.sh

# 2. 启动yarn-session
./bin/yarn-session.sh -n 1 -jm 1024 -tm 1024 -s 1 -nm yarn-session-jobs -d 

参数说明:
-n : 指定number of task manager,指定taskmanager个数
-jm: jobmanager所占用的内存数,单位为MB
-tm: 指定每个taskmanager所占用的内存,单位为MB
-s: 指定每个taskmanager可使用的cpu核数
-nm: 指定Application的名称
-d : 后台启动,session启动后,进程关闭

# 3. 提交job
./flink run -p 1 -yid application_id1 -d -c com.jacob.FlinkSqlJoinHBase ../flinksqldemo-1.0-SNAPSHOT.jar

参数说明:
-p:指定任务的并行度,如果你在程序代码中指定了并行度的话,那么此处的并行度参数不起作用
-yid:指定任务提交到哪一个application_id,默认是提交到本节点最新提交的一个application
-c: job的主入口 + jar path

注:job参数要写在-c之前,不然指定参数不起作用…


引用

Flink集群安装和部署之Flink On Yarn

posted @ 2022-02-09 13:28  钱塘江畔  阅读(188)  评论(0)    收藏  举报