摘要：原理回顾 一个RDD的两个分区的数据shuffle到另一个RDD的两个分区中后，如果上一个RDD还存在其他分区没执行完毕的话，不能往下执行，就会造成当前RDD内存数据挤压 所以中间就需要落盘操作，中间需要磁盘文件File shuffle一定会有落盘，但是效率慢，如何提高效率？落盘数据量越少速度就会变 阅读全文

摘要：组件通信 Driver=>Executor Executor=>Driver Executor=>Executor Netty：通信框架 到一个饭馆吃饭 BIO：要一份蛋炒饭，老板说前面还有十个人，那我等一会，不干其他的事 NIO：要一份蛋炒饭，老板说前面还有十个人，一个人五分钟，我等不了先告诉老板 阅读全文