摘要：之前一直用翻滚窗口，每条数据都只属于一个窗口，所有不需要考虑数据需要在多个窗口存的事情。 刚好有个需求，要用到滑动窗口，来翻翻 flink 在滑动窗口中，数据是怎么分配到多个窗口的 一段简单的测试代码： 定义了一个长度为1分钟，滑动距离 10秒的窗口，所以正常每条数据应该对应 6 个窗口 在 pro 阅读全文

摘要：社区中有好几个同学问过这样的场景： flink 任务中，source 进来的数据，需要连接数据库里面的字段，再做后面的处理 这里假设一个 ETL 的场景，输入数据包含两个字段 “type, userid....” ，需要根据 type，连接一张 mysql 的配置表，关联 type 对应的具体内容。 阅读全文

摘要：本文来自官网： https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/#physical-partitioning Flink还通过以下函数对转换后的数据精确流分区进行低级控制（如果需要）。 阅读全文

摘要：闲来无事，编个Flink 1.9 玩玩 1、下载flink、flink-shaded 源码、解压 flink flink-shaded 7.0 [venn@venn release]$ ll total 19880 drwxrwxr-x. 44 venn venn 4096 Sep 12 14:00 阅读全文

摘要：生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客： Flink assignAscendingTimestamps 生成水印的三个重载方法 之前想研究下Flink是怎么处理乱序的数据，看了相关的源码，加上测试，发现得到了与预期完全不相同的结果。 预期是：乱序到达的数据， 阅读全文

摘要：先上一个架构图 Flink App ： 通过report 将数据发出去 Pushgateway : Prometheus 生态中一个重要工具 Prometheus : 一套开源的系统监控报警框架 （Prometheus 入门与实践） Grafana： 一个跨平台的开源的度量分析和可视化工具，可以通过 阅读全文