2020年1月21日
sparkRdd driver和excuter
摘要： mapParitions的优缺点： mapParitions可以对一个RDD中所有的分区进行遍历 mappartitions.效率优于map算子,减少了发送到执行器执行交互次数 mappartitions内存溢出是当一个分区数据过大，发送时执行的exctuer可能放不下,出现OOM mapParti 阅读全文
posted @ 2020-01-21 10:50 ~清风煮酒~ 阅读(636) 评论(0) 推荐(0) 编辑