摘要：
spark优化总结: 一、spark 代码优化 六大代码优化:避免创建重复的RDD 尽可能复用同一个RDD 对多次使用的RDD进行持久化 尽量避免使用shuffle类算子 使用map-side预聚合的shuffle操作 使用高性能的算子 广播大变量 使用Kryo优化序列化性能 优化数据结构 使用高性 阅读全文
posted @ 2022-07-21 19:55 liudehaos 阅读(1847) 评论(0) 推荐(0)
liudehaos还历史以真诚，还生命以过程。 ——余秋雨 |
浙公网安备 33010602011771号