2024年5月26日
spark数据倾斜
摘要： 数据倾斜七种解决方案 使用Hive ETL预处理数据 过滤少数导致倾斜的key 提高shuffle操作的并行度（分区） 双重聚合 将reduce join转为map join 采样倾斜key并分拆join操作 使用随机前缀和扩容RDD进行join 1、使用Hive ETL预处理数据 方案适用场景:如 阅读全文
posted @ 2024-05-26 19:47 low-reed 阅读(74) 评论(0) 推荐(0)