开门见山,直接进入主题,数据量在百万级已下,可以不看下边内容。
起因:
某客户今年上了U9不久,随着业务量的增加,每日业务达2000多单据。由于客户操作业务有误,把业务做到了2018年底,之后才发现输入有误。在U9系统中,为了报表或是查询数据方便,随着业务的增减会按期间自动产生一些统计数据(至少18*12个期间的数据)两千万条数据,经过分析,客户不存在提前做业务场景,这些数据在系统中也就成了冗余数据,这数据占正常业务数据的90%。而随着业务的发生,自动按期间往后去更新各期间数据,每次更新的时候,数据库会自动优化锁,由行锁升级成页锁,再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作,系统无法运行。这样就引出了,要删除这90%多的数据问题。
抽象:
删除数据本应该是一个再简单不过的操作,在SQL中,我们可以用如下脚本:
Delete From AA Where Period>100
其实,应该区分应用场景
- 如果需要删除的数据占全部数据的80%以上,而且数据量在百万级以上,那么就得考虑删除效率问题了。
- 先把可用数据迁移到其它地方,如:
代码If OBJECT_ID('InvTrans_AccountPeriodLine_Temp') is not null
Drop Table InvTrans_AccountPeriodLine_Temp
Select * into InvTrans_AccountPeriodLine_Temp From InvTrans_AccountPeriodLine Where AccountPeriod<=@AccountPeriod - 然后,删除原表所有数据:
Truncate table InvTrans_AccountPeriodLine
- 最后,把刚才迁移的数据迁移回来:
Insert Into InvTrans_AccountPeriodLineBin Select * From InvTrans_AccountPeriodLineBin_Temp
- 先把可用数据迁移到其它地方,如:
- 如果数据量小的话,那么直接用Delete 脚本就可以搞定。
以上,是一点点建议,是否还有更合理的算法。