摘要:
问题背景 单阶段聚合在高基数场景下会产生数据倾斜 大量不同key的数据涌向同一个算子实例 造成性能瓶颈和资源浪费 解决思路 将聚合过程分解为两个阶段,通过预聚合减少数据传输量 两个阶段详解 第一阶段:Local Aggregation(本地预聚合) 位置:在数据源端或上游算子中执行 作用:对相同ke 阅读全文
posted @ 2020-10-16 09:32
lvlin241
阅读(107)
评论(0)
推荐(0)

浙公网安备 33010602011771号