Flink Watermark原理

Watermark简介

在 Apache Flink 中，水印（Watermark） 是一种用于处理事件时间（Event Time）流数据的机制。它代表了流处理系统中对事件时间进度的理解，用来标识数据流中的时间点，从而帮助确定何时窗口应该关闭并触发计算。

水印的作用
控制窗口计算：Flink 使用水印来决定何时关闭基于事件时间的窗口。例如，在一个 10 分钟的滚动窗口中，只有当水印超过窗口结束时间时，Flink 才会认为该窗口内的所有数据都已经到达，并且可以安全地进行计算。
处理迟到数据：通过设置允许的最大延迟（Allowed Lateness），Flink 可以接收那些晚于预期到达的数据。水印使得我们可以定义如何处理这些迟到的数据，比如将它们添加到已经计算过的窗口中或忽略它们。

水印的工作原理
水印是按照事件时间戳生成的特殊标记，通常表示“在这个时间之前的所有事件都已经到达”。具体来说：

事件时间戳：每个事件都有一个时间戳，这个时间戳反映了事件实际发生的时间，而不是它被处理的时间。
水印生成器（Watermark Generator）：这是负责生成水印的组件。它根据输入数据流中的事件时间戳来创建水印。最常见的是使用 forBoundedOutOfOrderness 方法来指定最大乱序程度，即允许的最大延迟时间。

推进水印：随着更多事件的到来，水印逐渐推进。理想情况下，水印应该是递增的，但实际应用中可能会有乱序的情况，因此我们需要设定一个合理的最大乱序时间。

WatermarkStrategy<OrderItem> watermarkStrategy = WatermarkStrategy
    .<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 允许最多5秒的乱序
    .withTimestampAssigner((event, timestamp) -> event.updateTime); // 提取事件时间戳的方法

 

水印的一个重要特性是它可以和允许的最大延迟一起工作，以便处理迟到的数据。例如，如果你设置了一个 1 小时的滚动窗口，并且允许最多 5 分钟的迟到数据，那么即使水印超过了窗口的结束时间，只要数据的事件时间不超过窗口结束时间加上 5 分钟，这些迟到的数据仍然会被包含在窗口计算中。

 

一、构造数据源

import org.apache.flink.streaming.api.functions.source.SourceFunction;

import java.util.Random;
import java.util.concurrent.TimeUnit;

public class OrderItemSource implements SourceFunction<OrderItemSource.OrderItem> {

    private volatile boolean isRunning = true;

    @Override
    public void run(SourceContext<OrderItem> sourceContext) throws Exception {
        // 每一秒生生一条数据
        for (int i=0; i < 100; i++) {
            OrderItem orderItem = new OrderItem(i, i % 2, 1, "商品A", new Random().nextInt(100), 1, System.currentTimeMillis());
            System.out.println(orderItem);
            sourceContext.collect(orderItem);
            TimeUnit.MILLISECONDS.sleep(1000);
        }
    }

    @Override
    public void cancel() {
        isRunning = false;
    }

    public static class OrderItem {
        public int id;
        public int orderId;
        public String shopName;
        public double paidPrice;
        public long updateTime;

        public OrderItem() {}

        public OrderItem(int id, int orderId, int shopId, String shopName, double paidPrice, int shopStatus, long updateTime) {
            this.id = id;
            this.orderId = orderId;
            this.shopName = shopName;
            this.paidPrice = paidPrice;
            this.updateTime = updateTime;
        }

        @Override
        public String toString() {
            return "OrderItem{" +
                    "id=" + id +
                    ", orderId=" + orderId +
                    ", shopName='" + shopName + '\'' +
                    ", paidPrice=" + paidPrice +
                    ", updateTime=" + updateTime +
                    '}';
        }
    }
}

 

二、核心代码

import com.aitogether.bigdata.onemetrics.runner.source.OrderItemSource;
import com.aitogether.bigdata.onemetrics.runner.source.OrderItemSource.OrderItem;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.OutputTag;

import java.time.Duration;


public class WindowWatermarkStrategy2 {

    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1); // 并行度

        // 接入数据源
        DataStream<OrderItem> orderItemStream = env.addSource(new OrderItemSource())
        // 配置生成Watermark方式，设置最大乱序时间5秒，时间戳按updateTime获取（此时系统按EventTime计算Watermark）
        .assignTimestampsAndWatermarks(WatermarkStrategy
                        .<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 最大乱序时间（maxOutOfOrderness）
                        .withTimestampAssigner((event, timestamp) -> event.updateTime)); // 获取时间戳方式，内部会自动跟踪已观察到的最大时间戳
        
        // 按orderId分区，开启一个10秒的滚动时间窗口，并计算窗口内的最大ID
        orderItemStream.keyBy(element -> element.orderId)
                .window(TumblingEventTimeWindows.of(Time.seconds(10))) // 滚动【事件时间】窗口
                .reduce((a, b) -> a.id > b.id ? a : b) // 求窗口内最大ID
                .print("result");

        env.execute(WindowWatermarkStrategy2.class.getSimpleName());
    }

}

 

三、结果分析

OrderItem{id=0, orderId=0, shopName='商品A', paidPrice=45.0, updateTime=1736238573687}
OrderItem{id=1, orderId=1, shopName='商品A', paidPrice=91.0, updateTime=1736238574692}
OrderItem{id=2, orderId=0, shopName='商品A', paidPrice=79.0, updateTime=1736238575696}
OrderItem{id=3, orderId=1, shopName='商品A', paidPrice=25.0, updateTime=1736238576699}
OrderItem{id=4, orderId=0, shopName='商品A', paidPrice=67.0, updateTime=1736238577701}
OrderItem{id=5, orderId=1, shopName='商品A', paidPrice=18.0, updateTime=1736238578706}
OrderItem{id=6, orderId=0, shopName='商品A', paidPrice=7.0, updateTime=1736238579710}
OrderItem{id=7, orderId=1, shopName='商品A', paidPrice=88.0, updateTime=1736238580714}
OrderItem{id=8, orderId=0, shopName='商品A', paidPrice=61.0, updateTime=1736238581719}
OrderItem{id=9, orderId=1, shopName='商品A', paidPrice=62.0, updateTime=1736238582724}
OrderItem{id=10, orderId=0, shopName='商品A', paidPrice=58.0, updateTime=1736238583726}
OrderItem{id=11, orderId=1, shopName='商品A', paidPrice=83.0, updateTime=1736238584729}
OrderItem{id=12, orderId=0, shopName='商品A', paidPrice=34.0, updateTime=1736238585732} // 12秒消息到达，此时Watermark：12-5=7
result> OrderItem{id=6, orderId=0, shopName='商品A', paidPrice=7.0, updateTime=1736238579710} // 触发7秒前的窗口计算，求出最大值6
result> OrderItem{id=5, orderId=1, shopName='商品A', paidPrice=18.0, updateTime=1736238578706} // 触发7秒前的窗口计算，求出最大值5

OrderItem{id=13, orderId=1, shopName='商品A', paidPrice=50.0, updateTime=1736238586738}
OrderItem{id=14, orderId=0, shopName='商品A', paidPrice=23.0, updateTime=1736238587743}
OrderItem{id=15, orderId=1, shopName='商品A', paidPrice=22.0, updateTime=1736238588747}
OrderItem{id=16, orderId=0, shopName='商品A', paidPrice=17.0, updateTime=1736238589752}
OrderItem{id=17, orderId=1, shopName='商品A', paidPrice=36.0, updateTime=1736238590758}
OrderItem{id=18, orderId=0, shopName='商品A', paidPrice=94.0, updateTime=1736238591763}
OrderItem{id=19, orderId=1, shopName='商品A', paidPrice=51.0, updateTime=1736238592768}
OrderItem{id=20, orderId=0, shopName='商品A', paidPrice=94.0, updateTime=1736238593773}
OrderItem{id=21, orderId=1, shopName='商品A', paidPrice=2.0, updateTime=1736238594778}
OrderItem{id=22, orderId=0, shopName='商品A', paidPrice=39.0, updateTime=1736238595782} // 22秒消息到达，此时Watermark：22-5=17
result> OrderItem{id=15, orderId=1, shopName='商品A', paidPrice=22.0, updateTime=1736238588747} // 触发17秒前的窗口计算，求出最大值15
result> OrderItem{id=16, orderId=0, shopName='商品A', paidPrice=17.0, updateTime=1736238589752} // 触发17秒前的窗口计算，求出最大值16

OrderItem{id=23, orderId=1, shopName='商品A', paidPrice=20.0, updateTime=1736238596784}
OrderItem{id=24, orderId=0, shopName='商品A', paidPrice=87.0, updateTime=1736238597790}
OrderItem{id=25, orderId=1, shopName='商品A', paidPrice=1.0, updateTime=1736238598794}
OrderItem{id=26, orderId=0, shopName='商品A', paidPrice=13.0, updateTime=1736238599797}
OrderItem{id=27, orderId=1, shopName='商品A', paidPrice=92.0, updateTime=1736238600801}
OrderItem{id=28, orderId=0, shopName='商品A', paidPrice=97.0, updateTime=1736238601804}
OrderItem{id=29, orderId=1, shopName='商品A', paidPrice=60.0, updateTime=1736238602806}
OrderItem{id=30, orderId=0, shopName='商品A', paidPrice=16.0, updateTime=1736238603811}
OrderItem{id=31, orderId=1, shopName='商品A', paidPrice=91.0, updateTime=1736238604813}
OrderItem{id=32, orderId=0, shopName='商品A', paidPrice=64.0, updateTime=1736238605817} // 后面数据以此类推
result> OrderItem{id=25, orderId=1, shopName='商品A', paidPrice=1.0, updateTime=1736238598794}
result> OrderItem{id=26, orderId=0, shopName='商品A', paidPrice=13.0, updateTime=1736238599797}
OrderItem{id=33, orderId=1, shopName='商品A', paidPrice=14.0, updateTime=1736238606821}
OrderItem{id=34, orderId=0, shopName='商品A', paidPrice=1.0, updateTime=1736238607825}

 

 

文档 https://apachecn.github.io/flink-doc-zh/#/docs/1.7-SNAPSHOT/README