2022年11月19日
记一次spark数据倾斜实践
摘要： 参考文章： 大数据项目——倾斜数据的分区优化 数据倾斜概念 什么是数据倾斜 大数据下大部分框架的处理原理都是参考mapreduce的思想：分而治之和移动计算，即提前将计算程序生成好然后发送到不同的节点起jvm进程执行任务，每个任务处理一小部分数据，最终将每个任务的处理结果汇总，完成一次计算。 如果在 阅读全文
posted @ 2022-11-19 19:07 卤鸭架 阅读(455) 评论(0) 推荐(2)