2026年1月4日
Spark动态优化机制：AQE与DPP
摘要： 1 AQE 1.1 AQE诞生的背景 Spark 2.x 在遇到有数据倾斜的任务时，需要人为地去优化任务，比较费时费力；如果任务在Reduce阶段，Reduce Task 数据分布参差不齐，会造成各个excutor节点资源利用率不均衡，影响任务的执行效率；Spark 3新特性AQE极大地优化了以上任 阅读全文
posted @ 2026-01-04 22:27 scales123 阅读(17) 评论(0) 推荐(0)