MapReduce里面的分区数和Reducer的数目的关系?

分区数=reducer数

 

 

参考资料:

https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver

 

思考:

MapTask是怎么工作的?

ReduceTask是怎么工作的?

MapTask如何控制分区、排序?

MapTask和ReduceTask是如何进行衔接的?(ReduceTask如何知道最后一个MapTask执行完了?)

spark的分区和MapReduce的分区一样吗?

posted on 2021-12-22 00:20  坚守梦想  阅读(115)  评论(0编辑  收藏  举报