• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
夏弈
沿着河边的白沙滩行走,希望能找到桃花源。
博客园    首页    新随笔    联系   管理    订阅  订阅
【夏弈的学习笔记】(MapReduce)数据倾斜的解决方案

PS:以下内容来自夏弈的学习笔记。以下内容仅包含了聚合方面的部分方案,不含其他情况如join时遇到数据倾斜的解决方案。更为详细的解决方案可以参看 美团技术沙龙 中总结的Spark数据倾斜解决方案:https://tech.meituan.com/2016/05/12/spark-tuning-pro.html。

 

 

posted on 2020-09-15 13:32  夏弈  阅读(186)  评论(0)    收藏  举报
刷新页面返回顶部
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3