GaussDB-数据倾斜优化技术

GaussDB-数据倾斜优化技术

可获得性

本特性自V300R002C00版本开始引入。

特性简介

数据倾斜问题是分布式架构的重要难题，特别是在运行时产生的数据倾斜。GaussDB针对数据倾斜问题给出了完整的解决方案，包括存储倾斜和计算倾斜两大问题。

客户价值

解决了分布式下的数据倾斜问题，提高了集群的横向扩展能力。

特性描述

存储倾斜和计算倾斜的优化如下：

  • 针对存储层的优化，GaussDB提供了丰富的视图用于查看数据存储的倾斜情况。
  • 针对计算倾斜，GaussDB提出了RLBT（Runtime Load Balance Technology），利用统计信息或者hint的方式来识别可能出现的倾斜值，然后对倾斜部分数据和非倾斜部分数据分别进行处理。例如在join时，对非倾斜数据按照hash进行重新分布，对于倾斜数据按照round robin进行重新分布。

特性增强

无。

特性约束

无。

依赖关系

依赖全并行分布式执行。

 
 
posted @ 2024-10-29 16:00  jerrywang1983  阅读(24)  评论(0)    收藏  举报