GaussDB扩容期间的TPC-C及sysbench测试

GaussDB扩容期间的TPC-C测试

在数据库扩容期间对GaussDB集群使用TPC-C工具同步监控，可以获得hashbucket表在扩容期间对TPCC模型性能的影响。导入10000 warehorse的数据，3C3D，单DN 800GB数据，运行600并发TPCC，叠加hashbucket扩容（3DN扩6DN），业务运行情况如下图3所示, 可以看出整个扩容过程中，TPCC业务没有出现性能大幅度下降的情况，整体运行平稳。

扩容期间的sysbench测试

在数据库扩容期间对GaussDB集群使用sysbench工具同步监控，可以获得普通表和hashbucket表在扩容期间的JOIN操作性能影响，图x为JOIN操作示意图。我们设定Lua脚本的测试场景为等值JOIN。JOIN操作的两张表分别具有Column A, Column B两个int类型。两张表的数据量为1千万条，其中，Column A为随机值，范围[1, 100,000]；Column B为唯一递增值，范围[1, 10,000,000]，两者的范围差距为100倍。完整的SQL语句为：

普通表执行的是逻辑扩容，遍历所有库依次搬迁每个表。对于同一个库，同一个模式下的两张表：当表1完成扩容而表2未开始扩容时，两个表的位于在不同的组节点(NodeGroup)上，此时对表1，表2执行JOIN操作会造成CN无法利用分布式架构下推JOIN操作到各个DN上执行，而是会生成跨DN的stream计划进行数据重分布后在进行JOIN，大量的跨节点通信导致性能劣化严重，如图5所示。

hashbucket表执行的是物理扩容，以库(database)为单位进行库内所有表的bucket搬迁。对于同一个库内的两张表：除了JOIN期间同步上线的bucket之外，其他的绝大多数bucket位于同一个组节点(NodeGroup)上，此时CN可以利用分布式架构分发JOIN操作到各个DN上执行，性能不受影响，如图6所示。