06 2023 档案

摘要：# 背景 通过命令行向Flink集群提交任务，都经过哪些环节，中间的调用关系是什么。 这里以Yarn模式为例，通过Flink任务提交至Yarn集群，由Yarn的AM开始执行Flink代码作为入口，尝试进行分析。 Flink里的代码调用关系比较复杂，这里只列了部分关键点，太过于琐碎的代码就没有具体深入 阅读全文

摘要：# 背景 肯定会有人好奇，我们写的Flink任务代码是如何执行的，本着学习的态度，以flink-yarn的方式，在阅读源码的基础上做一个自己的总结。 # 环境信息 jdk：1.8 scala：2.12 flink：1.13 hadoop:3.0 hadoop相关的环境搭建就不赘述了，参考网上文档即可 阅读全文

摘要：# 背景说明 在早期的Flink1.9时，为了对Flink任务的进行部署管理，对Flink任务提交的流程进行分析。刚好以前的博客图片失效了，那就用Flink1.13来再读一遍相关源码。 # 任务提交 flink任务提交的起点是flink脚本，以提交至Yarn为例，我们运行wordcount的脚本如下 阅读全文

摘要：# 背景说明 Kafka使用起来很方便，而且磁盘写入性能非常好，那么它是如何实现的呢。 在[Kafka的文档](https://kafka.apache.org/documentation/#persistence)说明中，有这样一段： ![](https://img2023.cnblogs.com 阅读全文