摘要:        
问题背景 单阶段聚合在高基数场景下会产生数据倾斜 大量不同key的数据涌向同一个算子实例 造成性能瓶颈和资源浪费 解决思路 将聚合过程分解为两个阶段,通过预聚合减少数据传输量 两个阶段详解 第一阶段:Local Aggregation(本地预聚合) 位置:在数据源端或上游算子中执行 作用:对相同ke    阅读全文
        
            posted @ 2020-10-16 09:32
lvlin241
阅读(107)
评论(0)
推荐(0)
        
        
                    
                
浙公网安备 33010602011771号