2022年3月27日
repartiton算子（重分区算子），coalesce算子
摘要： repartiton算子，重分区算子，比如上游的分区数太多，下游想要减少就可以使用，是一种物理改变分区的算子，涉及到shuffle操作。它底层调用的coalesce算子，repartiton在这里传进去了shuffle是true coalesce算子可以指定是否shuffle，coalesce函数总 阅读全文
posted @ 2022-03-27 17:43 习惯了蓝 阅读(118) 评论(0) 推荐(0)