摘要:
1、 任务调度 a、RDD Objects >转换为DAG有向无环图 b、DAGScheduler 根据RDD之间的宽窄依赖切分Job,切分为Stage c、Stage本质上就是 TaskSet,Stage就会以TaskSet形式传给TaskScheduler d、TaskScheduler遍历Ta 阅读全文
摘要:
一、粗粒度 1.工作原理: (1)Spark Streaming接收到实时数据流(data stream) (2)Spark Streaming把数据按照指定的时间段切成一片片小的数据块(小批次) (3)然后Spark Streaming把小的数据块传给Spark Engine处理 (4)Spark 阅读全文