介绍

Yarn:资源调度,解决mapreduce计算问题,把任务调度(AM)和资源调度(RM)分开
 
spark:任务调度和资源调度分开
资源调度:
用自己的资源调度:master+worker
用yarn的资源调度:resourceManager+nodeManager
计算:
用spark自己的计算:driver+excutor
 
SCALA:面向函数
 
posted on 2020-08-28 18:24 happygril3 阅读(118) 评论(0) 收藏 举报

 
资源调度:
用自己的资源调度:master+worker
用yarn的资源调度:resourceManager+nodeManager
计算:
用spark自己的计算:driver+excutor
 
SCALA:面向函数
 
posted on 2020-08-28 18:24 happygril3 阅读(118) 评论(0) 收藏 举报