spring boot 批量导入数据方案

最近使用到spring boot来将一个表的数据到入到另一个表,因为数据需要清洗,所以必须要使用代码.

使用方法: 采用了多线程分批导入,比如总共有100万数据,可以启动10个线程,第一个线程导入id从1-10000的,第2个线程导入10001-20000的,

注意点:1.一定要用mybatis的批量导入,不能一个个的导,速度会很慢

2.一定要在服务实现类上使用

@Transactional(rollbackFor = Exception.class)这个注解,
实测130万数据导入10多分钟

 

posted @ 2021-01-16 15:25  Nullpointer_dxy  阅读(1051)  评论(0编辑  收藏  举报