会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
来自遥远的水星
博客园
首页
新随笔
管理
2020年9月14日
Spark(八)【利用广播小表实现join避免Shuffle】
摘要: 使用场景 大表join小表 只能广播小表 普通的join是会走shuffle过程的,而一旦shuffle,就相当于会将相同key的数据拉取到一个shuffle read task中再进行join,此时就是reduce join。但是如果一个RDD是比较小的,则可以采用广播小RDD全量数据+map算子
阅读全文
posted @ 2020-09-14 18:19 来自遥远的水星
阅读(2825)
评论(0)
推荐(0)
编辑