随笔分类 -  实时计算

Flink1.14 python作业提交流程分析
摘要：作业提交流程官方介绍： https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/python/overview 命令行提交作业： https://nightlies.apache.org/flink/flink-d 阅读全文
posted @ 2022-04-11 16:40 MrPei 阅读(1351) 评论(4) 推荐(0)
Flink 网络栈
摘要： 阅读全文
posted @ 2021-09-24 17:44 MrPei 阅读(44) 评论(0) 推荐(0)
从源码来看 Flink 提交作业并调度执行
摘要：从提交来一步一步分析，本文源码基于Apache社区 1.8-release 版本 REST提交作业流程： 1.集群启动后 通过 /jars/upload 向集群提交可执行jar文件 2.通过 /jars/:jarid/run 来启动一个job 1.构建并提交JobGraph 我们直接找到WebSub 阅读全文
posted @ 2019-12-31 16:06 MrPei 阅读(1398) 评论(1) 推荐(0)
Flink 1.9 故障恢复策略(failover)
摘要：当 Task 发生故障时，Flink 需要重启出错的 Task 以及其他受到影响的 Task ，以使得作业恢复到正常执行状态。 Flink 通过重启策略和故障恢复策略来控制 Task 重启：重启策略决定是否可以重启以及重启的间隔；故障恢复策略决定哪些 Task 需要重启。 全图重启故障恢复策略 在全 阅读全文
posted @ 2019-12-16 14:44 MrPei 阅读(2088) 评论(0) 推荐(0)