摘要:
原理回顾 一个RDD的两个分区的数据shuffle到另一个RDD的两个分区中后,如果上一个RDD还存在其他分区没执行完毕的话,不能往下执行,就会造成当前RDD内存数据挤压 所以中间就需要落盘操作,中间需要磁盘文件File shuffle一定会有落盘,但是效率慢,如何提高效率?落盘数据量越少速度就会变 阅读全文
posted @ 2022-02-18 21:22
aligado~
阅读(72)
评论(0)
推荐(0)
摘要:
组件通信 Driver=>Executor Executor=>Driver Executor=>Executor Netty:通信框架 到一个饭馆吃饭 BIO:要一份蛋炒饭,老板说前面还有十个人,那我等一会,不干其他的事 NIO:要一份蛋炒饭,老板说前面还有十个人,一个人五分钟,我等不了先告诉老板 阅读全文
posted @ 2022-02-18 12:45
aligado~
阅读(85)
评论(0)
推荐(0)

浙公网安备 33010602011771号