2021年4月11日
spark_shuffle方式的演进过程
摘要： spark shuffle有四种方式，分别是 hashshuffle 优化后的hashshuffle sortshuffle bypass 一、hashshuffle与优化 一开始spark的shuffle方式是hashshuffle。hashshuffle有一个严重的问题，就是产生的小文件数量比较 阅读全文
posted @ 2021-04-11 16:54 肥仔佳文猪 阅读(237) 评论(0) 推荐(0)