Flink GlobalWindow

需求

    flink读取hdfs写入clickhouse

设想

    flink读取hdfs;数据结构化;拼接SQL;JDBC连接CLICKHOUSE;批量入库

难点

         保证数据全部写入(考虑过timewindow 和 countwindow:因为文件大小和程序执行时长是未知的,所以会丢失数据)

技术实现

        自定义window:

       我们必须清楚的是GlobalWindow自带的trigger是NeverTrigger也就是永远不会触发

    

       所以我们需要

      1 写window

      2  写trigger:trigger返回枚举: 分别对应 啥也不干,进入窗口之后销毁,进入窗口(区别是数据累积),销毁

  

 

posted on 2022-02-14 14:44  爱老虎哟  阅读(211)  评论(0)    收藏  举报

导航