11 2020 档案
【源码】Flink StreamGraph 生成过程
摘要:Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边(Edge),其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v 阅读全文
posted @ 2020-11-06 15:43 Flink菜鸟 阅读(654) 评论(0) 推荐(1)
【源码】Join 算子 Transforation 过程
摘要:又看下了 Join 算子 Transformation 的过程,发现有使用 union 和 coGroup,比较特殊,就仔细梳理一下 join demo 代码: 两个 Stream join 只能在窗口中进行 join,join 在处理无界数据集的时候,必须指定窗口,让无界数据变成有界数据,Flin 阅读全文
posted @ 2020-11-05 15:15 Flink菜鸟 阅读(495) 评论(0) 推荐(0)
【源码】Flink 三层图结构——StreamGraph 生成前准备 Transformation
摘要:最近一直在看 StreamGraph 生成的源码,刚好有点思路,准备动手了发现,如果不说下 Transformation 后面的 StreamGraph 会差比较多意思,所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类,实现类有下面 阅读全文
posted @ 2020-11-04 20:25 Flink菜鸟 阅读(602) 评论(0) 推荐(0)