介绍

 Yarn:资源调度,解决mapreduce计算问题,把任务调度(AM)和资源调度(RM)分开

 

 

spark:任务调度和资源调度分开

资源调度:

       用自己的资源调度:master+worker

       用yarn的资源调度:resourceManager+nodeManager

计算:

       用spark自己的计算:driver+excutor

 

 

 

 

 SCALA:面向函数

 

 

posted on 2020-08-28 18:24  happygril3  阅读(118)  评论(0)    收藏  举报

导航