2021年11月19日
Spark面试题（八）——Spark的Shuffle配置调优
摘要： 1、Shuffle优化配置 -spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写 阅读全文
posted @ 2021-11-19 11:01 大数据技术派 阅读(404) 评论(0) 推荐(0)