11 2023 档案

Flink源码解析(七)——StreamGraph生成过程解析
摘要：一、StreamGraph介绍 在一个Flink流式应用中每个DataStream API调用都会被转换为一个Transformation，等StreamExecutionEnvironment.execute()方法开始执行时，每个Transformation会映射为一个StreamGraph。S 阅读全文
posted @ 2023-11-28 14:22 有一个娃 阅读(593) 评论(0) 推荐(0)
Flink源码解析(六)——数据分区解析
摘要：一、数据分区概念 对分布式计算引擎来说，数据分区的主要作用是将现环节的数据进行切分，交给下游位于不同物理节点上的Task计算。 二、Flink数据分区接口体系 1、顶层接口ChannelSelector (1).setup()方法设置下游算子的通道数量。从该接口中可以看到，算子里的每一个分区器都知道 阅读全文
posted @ 2023-11-23 18:56 有一个娃 阅读(325) 评论(0) 推荐(0)
Flink源码解析(五)——时间、水印及窗口原理解析
摘要：一、时间类型解析 1、处理时间(Processing Time)：处理时间是指数据被计算引擎处理的时间，以各个计算节点的本地时间为准。 2、事件事件(Event Time)：事件时间是指数据发生的时间，通常产生于数据采集设备中，与Flink计算引擎本地时间无关。因受网络延迟、数据乱序、背压等影响，事 阅读全文
posted @ 2023-11-08 15:39 有一个娃 阅读(936) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示