摘要： 在大数据的处理过程中会出现很多汇总类指标的计算，比如计算当日的每个类目下的用户的订单信息，就需要按类目分组，对用户做去重。Flink sql 提供了 “去重” 功能，可以在流模式的任务中做去重操作。 官网文档 去重 官网链接： [去重](https://ci.apache.org/projects/ 阅读全文

摘要： 本文参考官网 Table & SQL Connectors JDBC SQL Connector https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html#lookup-ca 阅读全文

摘要： 参考官网： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.htmlhttps://ci.apache.org/projects/flink/flink-docs-r 阅读全文

摘要： 参考文档： 编译Flink 1.9.0 https://www.cnblogs.com/Springmoon-venn/p/11512136.html 编译环境： ubuntu 18.05Java : 1.8.0_271 官网下载源码包：https://mirrors.tuna.tsinghua.e 阅读全文

摘要： 参考前文：解决 Flink 1.11.0 sql 不能指定 jobName 的问题 从 FLink 1.11 改版 sql 的执行流程后，就不能和 Stream Api 一样使用 env.execute("JobName") 来指定任务名 看了源码后发现，在 sql 任务中，直接使用了 "inser 阅读全文

摘要： 本文来自官网： https://flink.apache.org/news/2020/12/10/release-1.12.0.html 2020年12月10日Marta Paes（@morsapaes）和Aljoscha Krettek（@aljoscha） Apache Flink社区很高兴地宣 阅读全文

摘要： 注： 所有内容都基于Flink 本地模式 JobGraph 的生成是从 LocalExecutor.java. execute 方法开始的 // 本地执行调用 Pipeline 是 StreamGraph 的父类 @Override public CompletableFuture<JobClien 阅读全文

摘要： Flink 任务的图结构中，部分算子是 chain 在一起的，因为 chain 在一起有很多好处（减少序列化和网络开销，提高效率），而算子 chain 在一起是需要条件的 Flink 任务在生成 JobGraph 的时候，会加入 chain 的概念，会判断算子能否 chain 在一起 首先在 env 阅读全文

摘要： Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边（Edge），其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v 阅读全文

摘要： 又看下了 Join 算子 Transformation 的过程，发现有使用 union 和 coGroup，比较特殊，就仔细梳理一下 join demo 代码： 两个 Stream join 只能在窗口中进行 join，join 在处理无界数据集的时候，必须指定窗口，让无界数据变成有界数据，Flin 阅读全文