摘要:
本章中,我们首先详细讨论了以下流处理核心概念:
1. 窗口:处理无界数据的有效方式是采用窗口的方式对无界数据进行切分。
2. 触发器:用于定义何时触发计算结果更新动作。
3. 水位线:一种推断数据完整性的理念,对于处理无界数据中的乱序、迟到、缺失等问题非常有效。
4. 累积:当窗口结果需要多次更新时如何修正之前的结果。
其次,我们通过对 what,where,when,how 这 4 个问题的回答,逐步揭开流处理过程的全貌:
What:计算什么结果?
Where:在哪里计算结果?
When:在什么时间计算结果?
How:如何修正计算结果? 阅读全文
本章中,我们首先详细讨论了以下流处理核心概念:
1. 窗口:处理无界数据的有效方式是采用窗口的方式对无界数据进行切分。
2. 触发器:用于定义何时触发计算结果更新动作。
3. 水位线:一种推断数据完整性的理念,对于处理无界数据中的乱序、迟到、缺失等问题非常有效。
4. 累积:当窗口结果需要多次更新时如何修正之前的结果。
其次,我们通过对 what,where,when,how 这 4 个问题的回答,逐步揭开流处理过程的全貌:
What:计算什么结果?
Where:在哪里计算结果?
When:在什么时间计算结果?
How:如何修正计算结果? 阅读全文
posted @ 2022-04-26 22:43
watermark's
阅读(560)
评论(0)
推荐(0)

浙公网安备 33010602011771号