2020年9月25日

数据倾斜
摘要： map端数据倾斜：输入文件大小不一致 reduce端数据倾斜：partition不一致 小表要放在前面，大表放在后面 例如A表id=3有1条记录，B表id=3有10条记录。 首先读取v[0]发现是A表的记录，用了1次读取操作。然后再读取v[1]发现是B表的操作，这时v[0]和v[1]可以直接关联输出 阅读全文
posted @ 2020-09-25 15:07 happygril3 阅读(171) 评论(0) 推荐(0)

导航