2025年7月1日
Spark之shuffle常见问题
摘要： 1. map和reduce端缓冲区大小 在Spark任务运行过程中，如果shuffle的map端处理的数据量比较大，但是map端缓冲的大小是固定的，可能会出现map端缓冲数据频繁spill溢写到磁盘文件中的情况，使得性能非常低下，通过调节map端缓冲的大小，可以避免频繁的磁盘IO操作，进而提升Spa 阅读全文
posted @ 2025-07-01 16:30 zz_bigdata 阅读(17) 评论(0) 推荐(0)