2023年12月13日
[spark] coalesce() 和 repartition()的区别
摘要： coalesce(1) 的主要作用是将数据合并到尽可能少的分区中，而 repartition(1) 则是将数据随机重分区为一个分区。这使得 coalesce(1) 相对而言更加高效，因为它减少了数据移动的次数，只需要在当前 Executor 上将所有分区的数据都收集到当前应用程序的单个 Execut 阅读全文
posted @ 2023-12-13 10:03 家有花猪 阅读(372) 评论(0) 推荐(0)