spark 3.0新特性

一、Adaptive Query Execution 自适应查询

https://blog.51cto.com/u_12865/7338853

 

 

二、Dynamic Partion Pruning 动态裁剪分区

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）介绍

https://www.iteblog.com/archives/8589.html

SELECT * FROM dim_iteblog

JOIN fact_iteblog

ON (dim_iteblog.partcol = fact_iteblog.partcol)

WHERE dim_iteblog.othercol > 10

在join时候，谓词下推的基础上，在根据关联键对另一张表进行分区剪裁，大大减少jion的数据量

 

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）使用

https://www.iteblog.com/archives/8590.html

 

 

三、其他新特性

https://pgmanor.gitee.io/blog/2020/12/31/blog-spark-version-3/