11 2020 档案
【源码】Flink StreamGraph 生成过程
摘要:Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边(Edge),其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v
阅读全文
【源码】Join 算子 Transforation 过程
摘要:又看下了 Join 算子 Transformation 的过程,发现有使用 union 和 coGroup,比较特殊,就仔细梳理一下 join demo 代码: 两个 Stream join 只能在窗口中进行 join,join 在处理无界数据集的时候,必须指定窗口,让无界数据变成有界数据,Flin
阅读全文
【源码】Flink 三层图结构——StreamGraph 生成前准备 Transformation
摘要:最近一直在看 StreamGraph 生成的源码,刚好有点思路,准备动手了发现,如果不说下 Transformation 后面的 StreamGraph 会差比较多意思,所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类,实现类有下面
阅读全文
浙公网安备 33010602011771号