【脱敏迁移】脱敏迁移提速关键步骤回顾

【当前效率】

21字段表(1id+20varchar2/nvarchar2),10字段脱敏,10字段保持,数据量1300万,在来源端和去向端都是Oracle12c以上数据库的情况下,在虚拟机上能在600s-700s内传输完,约2万条每秒,在服务器上能在300-400秒内传输完,约4万条每秒。

【提速的关键步骤】

读取时:ResultSet设值了fetchSize;https://www.cnblogs.com/heyang78/p/16506154.html

脱敏:采用数组操作文字,包括验证和替换;在外层设值LruCache;

调度:使用自动关闭的Pipe模式;https://www.cnblogs.com/heyang78/p/16485874.html

写入时:使用了ps的executeBatch;https://www.cnblogs.com/heyang78/p/16340155.html

END

posted @ 2022-07-24 07:06  逆火狂飙  阅读(47)  评论(0)    收藏  举报
生当作人杰 死亦为鬼雄 至今思项羽 不肯过江东