随笔- 1190  评论- 983  文章- 0 
  2020年3月29日
摘要:全量聚合: 窗口需要维护全部原始数据,窗口触发进行全量聚合。 ProcessWindowFunction获得一个包含窗口所有元素的可迭代器,以及一个具有时间和状态信息访问权的上下文对象,这使得它比其他窗口函数提供更大的灵活性。这是以性能和资源消耗为代价的,因为元素不能增量地聚合,而是需要在内部缓冲, 阅读全文
posted @ 2020-03-29 12:47 Ruthless 阅读(1154) 评论(0) 推荐(0) 编辑
摘要:AggregateFunction 比 ReduceFunction 更加的通用,它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。 输入类型是输入流中的元素类型,AggregateFunction有一个add方 法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累 阅读全文
posted @ 2020-03-29 12:44 Ruthless 阅读(700) 评论(0) 推荐(0) 编辑
摘要:ReduceFunction含义ReduceFunction定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程,Flink使用ReduceFunction来对窗口中的元素进行增量聚合 package com.lynch.stream.window; import org.apache. 阅读全文
posted @ 2020-03-29 11:13 Ruthless 阅读(540) 评论(0) 推荐(0) 编辑
摘要:Window Function在窗口触发后,负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。 增量聚合: 窗口不维护原始数据,只维护中间结果,每次基于中间结果和增量数据进行聚合。如: ReduceFunction、AggregateFunction。全量聚合 阅读全文
posted @ 2020-03-29 11:08 Ruthless 阅读(339) 评论(0) 推荐(0) 编辑