flink整理
目前离线批处理spark强,实时处理flink强
无界数据流:
无界数据流有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序(例如事件发生的顺序)获取event,以便能够推断结果完整性。
有界数据流:
有界数据流有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界数据集进行排序,有界流的处理也称为批处理。
Flink 特点
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理
Flink是完全支持流处理,也就是说作为流处理看待时输入数据流时无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。
Flink优势
支持高吞吐、低延迟、高性能的流处理
支持高度灵活的窗口(Window)操作
支持有状态计算的Exactly-once语义
提供DataStream API和DataSet API
整理来源自https://ifeve.com/flink-python/
浙公网安备 33010602011771号