2024年1月18日
Flink 历史服务器配置
摘要： 本文将历史服务器的日志信息保存到Hadoop 的 HDFS上，也可选择保存到本地磁盘上。 1.在HDFS上创建保存日志的文件夹 hadoop fs -mkdir -p /logs/flink-job 2.修改flink配置文件，添加历史服务器相关配置 vi /usr/flink/flink-1.18 阅读全文
posted @ 2024-01-18 17:07 SpringCore 阅读(285) 评论(0) 推荐(0)
Flink1.18 & YARN 应用模式部署【推荐】
摘要： 应用模式：用户代码在JobManger上解析、运行，而不是在客户端上进行 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flin 阅读全文
posted @ 2024-01-18 15:42 SpringCore 阅读(1041) 评论(0) 推荐(0)
Flink1.18 & YARN 单作业模式部署
摘要： 单作业模式：提交作业时才启动Flink集群。不用事先启动，直接flink run即可，注意需要添加-t yarn-per-job参数用于区分。 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 阅读全文
posted @ 2024-01-18 09:57 SpringCore 阅读(438) 评论(0) 推荐(0)