大数据计算引擎发展的四个阶段

根据一些公开资料整理,也许有失偏颇,仅供参考:

 

1.第一代

Hadoop 承载的 MapReduce

2.第二代

支持 DAG(有向无环图) 的框架: Tez 、 Oozie,主要还是批处理任务

3.第三代

Job 内部的 DAG(有向无环图) 支持(不跨越 Job),以及强调的实时计算:Spark

4.第四代

对流计算的支持,以及更一步的实时性:Flink

 

SparkStreaming VS Flink Streaming

 

posted @ 2017-11-12 23:08  静若清池  阅读(2630)  评论(0编辑  收藏  举报