Flink、Spark、Storm技术对比列表

ApacheFlinkSpark StreamingStorm
架构架构介于Spark和Storm之间,主从结构与SparkStreaming相似,DataFlow Grpah与Storm相似架构依赖Spark,每个Batch处理都依赖主(Driver),可以理解为时间维度上的spark DAG。主从模式,且以来Zookeeper,处理过程中对主节点依赖不大。
处理模式NativeMicro-batchNative
容错基于CheckPoint机制WAL及RDD机制Records ACK
处理模型与延迟单条事件处理
亚秒级低延迟
窗口事件处理
秒级高延迟
单条事件处理
亚秒级低延迟
吞吐量HighHighMedium
数据处理保证excatly onceexcatly onceexcatly once
高级APIFlink栈中提供了很多具有高级API和满足不同场景的类库:机器学习、图分析、关系式数据处理能够很容易的对接Spark生态栈里面的组件、同时能够对接主流的消息传输组件以及存储系统。应用需要按照特定的Storm定义的规则编写。
易用性支持SQL streaming,Batch和Streaming采用统一变成框架支持SQL straming,Batch和Streaming采用统一变成框架不支持SQL streaming。
成熟性新兴项目,处于发展阶段已经发展一段时间相对较早的流系统,比较稳定
部署性部署相对简单,只依赖Java环境部署相对简单,只依赖Java环境依赖Java和Zookeeper
posted @ 2021-01-03 23:11  mrliqifeng  阅读(68)  评论(0)    收藏  举报