随笔分类 -  FLINK1.17 / yarn运行模式

应用模式启动
摘要：与单作业模式类似，直接执行flink run-application命令 $ bin/flink run-application -t yarn-application -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1. 阅读全文
posted @ 2024-05-11 18:04 自在现实 阅读(146) 评论(0) 推荐(0)
单作业模式启动
摘要：在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群 $ bin/flink run -d -t yarn-per-job -c com.huft.flk117.demo.StreamSocketCnt job_jar/origin 阅读全文
posted @ 2024-05-11 16:41 自在现实 阅读(54) 评论(0) 推荐(0)
会话模式启动
摘要：YARN的会话模式与独立集群略有不同，需要首先申请一个YARN会话（YARN Session）来启动Flink集群。 1.后台启动yarn会话模式flink集群 bin/yarn-session.sh -d -nm test 2.查看返回地址和yarn id yarn会自动分配集群随机一台主机和端口 阅读全文
posted @ 2024-05-11 15:26 自在现实 阅读(77) 评论(0) 推荐(0)
hadoop集群配置和启动
摘要：1.环境变量配置hadoop信息 2.启动HDFS和YARN 阅读全文
posted @ 2024-05-11 15:02 自在现实 阅读(23) 评论(0) 推荐(0)