摘要：
富函数类（Rich Function Classes） “富函数类” 也是 DataStream API 提供的一个函数类的接口，所有的 Flink 函数类都有其 Rich 版本 Rich Function 有生命周期的概念，典型的生命周期方法有： open()方法，是 Rich Function 阅读全文
posted @ 2022-11-03 23:45
黄一洋
阅读(35)
评论(0)
推荐(0)
摘要：
Flink 的运行时架构中，最重要的就是两大组件：作业管理器（JobManger）和任务管理器（TaskManager） 对于一个提交执行的作业， JobManager 是真正意义上的“管理者”（Master），负责管理调度，所以在不考虑高可用的情况下只能有一个；而 TaskManager 是“工作 阅读全文
posted @ 2022-11-03 23:44
黄一洋
阅读(20)
评论(0)
推荐(0)
摘要：
对于事件时间和水位线，它们又有什么具体应用呢？窗口聚合计算 对于基本的聚合操作，流数据是连续不断的，不可能等到所有的数据到齐了才开始处理；所以更多的是按窗口进行聚合 具体地，窗口是一个左闭右开区间， 但是由于分布式会产生乱序数据，所以实际上窗口其实并不是一个“框”，而是把流切割成有限大小的多个“存储 阅读全文
posted @ 2022-11-03 23:43
黄一洋
阅读(12)
评论(0)
推荐(0)
摘要：
Flink 中的时间语义 事件时间 事件时间，是指每个事件在对应的设备上发生的时间，也就是数据生成的时间 数据一旦产生，这个时间自然就确定了，所以它可以作为一个属性嵌入到数据中。这其实就是这条数据记录的 “时间戳”（Timestamp） 处理时间 数据真正被处理的时刻 在事件时间语义下，我们对于时间 阅读全文
posted @ 2022-11-03 23:42
黄一洋
阅读(63)
评论(0)
推荐(0)
摘要：
1. 传统事务处理 存储层用于数据存储；计算层用于数据处理 对于用户的请求实时地进行响应，然而当数据规模越来越大时，需要花费更多的精力在表的设计和重构以及SQL调优上 那有没有更合理、更高效的处理架构呢？ 这就产生了有状态的流处理 2. 有状态的流处理 对于事件流的处理，当收到一个请求就产生一个响应 阅读全文
posted @ 2022-11-03 22:29
黄一洋
阅读(19)
评论(0)
推荐(0)
浙公网安备 33010602011771号