2019年4月1日
2.1.6、SparkEnv中创建ShuffleManager
摘要： ShuffleManager负责管理本地以及远程的block数据的shuffle操作。 ShffuleManager的创建是在SparkEnv中。 2.1.6.1、在本人的spark版本中(2.1.1)只有SortShuffleManger， 在spark1.2之前还有HashShuffleMana 阅读全文
posted @ 2019-04-01 23:02 宝哥大数据 阅读(208) 评论(0) 推荐(0)