摘要: 《Streaming Systems》第二章: 数据处理中的 What, Where, When, How 本章中,我们首先详细讨论了以下流处理核心概念: 1. 窗口:处理无界数据的有效方式是采用窗口的方式对无界数据进行切分。 2. 触发器:用于定义何时触发计算结果更新动作。 3. 水位线:一种推断数据完整性的理念,对于处理无界数据中的乱序、迟到、缺失等问题非常有效。 4. 累积:当窗口结果需要多次更新时如何修正之前的结果。 其次,我们通过对 what,where,when,how 这 4 个问题的回答,逐步揭开流处理过程的全貌: What:计算什么结果? Where:在哪里计算结果? When:在什么时间计算结果? How:如何修正计算结果? 阅读全文
posted @ 2022-04-26 22:43 watermark's 阅读(560) 评论(0) 推荐(0)