MySQL JDBC连接参数rewriteBatchedStatements(转)

原文:https://blog.51cto.com/u_16213583/9701812

MySQL Jdbc驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,直接造成较低的性能。

只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行。不过,驱动具体是怎么样批量执行的?你是不是需要看一下内幕,才敢放心地使用这个选项?Add by zhj: 参见 MySQL JDBC官网 https://dev.mysql.com/doc/connectors/en/connector-j-connp-props-performance-extensions.html,JDBC驱动最好>=5.1.13,这个版本是2010年就发布的,所以现在项目使用的JDBC版本肯定是高于这个版本的,参见 https://support.huaweicloud.com/eu/bestpractice-ddm/ddm_01_0014.html,和 https://www.cnblogs.com/yezhenhan/archive/2013/04/17/3025778.html,但我没看到MySQL官方文档要求>=5.1.13

下文会给出测试。

另外,有人说rewriteBatchedStatements只对INSERT有效,有人说它对UPDATE/DELETE也有效。为此我做了一些实验(详见下文),结论是: 这个选项对INSERT/UPDATE/DELETE都有效,只不过对INSERT它为会预先重排一下SQL语句。

实验记录:未打开rewriteBatchedStatements时
未打开rewriteBatchedStatements时,根据wireshark嗅探出的mysql报文可以看出,

batchDelete(10条记录)  =>  发送10次delete 请求

batchUpdate(10条记录)  =>  发送10次update 请求

batchInsert(10条记录)  =>  发送10次insert 请求

也就是说,batchXXX()的确不起作用

实验记录:打开了rewriteBatchedStatements后,配置如下

##配置链接mysql的时候将参数添加上并且将参数设置成true
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/learn_a?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true
    username: *******
    password: *******
    driver-class-name: com.mysql.cj.jdbc.Driver

 

打开rewriteBatchedStatements后,根据wireshark嗅探出的mysql报文可以看出

 

batchDelete(10条记录)  =>  发送一次请求,内容为”delete from t where id = 1; delete from t where id = 2; delete from t where id = 3; ….”

batchUpdate(10条记录)  =>  发送一次请求,内容为”update t set … where id = 1; update t set … where id = 2; update t set … where id = 3 …”

batchInsert(10条记录)  =>   发送一次请求,内容为”insert into t (…) values (…) , (…), (…)”

 

对delete和update,驱动所做的事就是把多条sql语句累积起来再一次性发出去;而对于insert,驱动则会把多条sql语句重写成一条风格很酷的sql语句,然后再发出去。 官方文档说,这种insert写法可以提高性能(”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”)

一个注意事项
需要注意的是,即使rewriteBatchedStatements=true, batchDelete()和batchUpdate()也不一定会走批量: 当batchSize <= 3时,驱动会宁愿一条一条地执行SQL。所以,如果你想验证rewriteBatchedStatements在你的系统里是否已经生效,记得要使用较大的batch。

Add by zhj: 也有人测试说当batchSize>1时就会走批量方式,参见 https://blog.csdn.net/weixin_43343127/article/details/133683038

posted @ 2024-08-06 10:13  奋斗终生  Views(174)  Comments(0Edit  收藏  举报