使用spring jdbcTemplate批量insert的性能问题

最近在做一个数据搬迁的工具，从ES里把数据读出来，写到mysql，又因ES的数据有延迟，所以，还需要大量的update 动作。 使用了Spring jdbcTempalte. 因数据量比较大，导致mysql不堪重负。做了些优化，性能提升了不少。特此做个笔记。

原来的做法：

1. 使用jdbcTemplate.batchUpdate()方法。

2. sql: insert into <table> values(xxx, xxx, xxx) on duplicate key update xxx=?, xxx=?,xxx=?

更新后的做法：

1.  使用 org.springframework.jdbc.object.BatchSqlUpdate 替换jdgcTemplate.batchUpdate();

2. 用replace into 替换 on duplicate key update

 DataSource dataSource = this.jdbcTemplate.getDataSource();
        String sql = "insert into "+this.table+"(service,endpoint,endpoint_hash,value,total,time_bucket) values (?,?,?,?,?,?) ";
        BatchSqlUpdate batchSqlUpdate = new BatchSqlUpdate(dataSource,sql);
        batchSqlUpdate.setBatchSize(this.nacosConfig.getIntValue("batchSize",5000));
        batchSqlUpdate.setTypes(new int[]{Types.VARCHAR,Types.VARCHAR,Types.VARCHAR,Types.BIGINT,Types.BIGINT,Types.TIMESTAMP});
        for(EndpointCpm cpm : arrayList){
            batchSqlUpdate.update(cpm.getService(),cpm.getEndpoint()
                    ,this.getEndpointHash(cpm.getEndpoint()),cpm.getValue(),cpm.getTotal()
                    ,new Timestamp(format.parseDateTime(cpm.getTimeBucket()).getMillis()));
        }
        batchSqlUpdate.flush();