摘要： 业务需求 最近做一个把源数据库的数据批次导出到目标数据库。源数据库是采集程序采集而来的原始数据库，所以需要对其进行一些处理（过滤一些为空，长度太短或太长，非法字符，重复数据）然后在进行入库。 其中要避免目标库插入重复数据。这重复数据可能是源数据库本身就有重复数据，还有就是已经插入避免重复插入。 过滤 阅读全文