SSIS数据同步系统

  缘起:

    若干年前,刚到一家3C类的电商公司做DBA,到公司没几天,公司的CEO和研发总监,说现在要做个事情:

         把IDC的数据库的数据,要同步一份到仓库,因单量大,仓库经常爆仓,仓库网络不好时,可以直接用同步的数据

         记得当时CEO还特意,弄个讲座讲了公司如何处理单量爆仓

    第一次做DBA,第一个月只是有这个说法,没想到研发总监又说了几次,但是线上就一台数据库实例,领导连线上数据库权限都没开给我,只是定时就把线上的慢SQL发给我来优化,因事情比较少,自己就查线上有没有同步数据的工具和方法。

    自己尝试看看能否做一个数据同步工具。

   方法:

     在查询资料过程中,发现一篇携程的BI部门的技术文档,介绍携程有用增加时间(row_createtime),修改时间(row_lastupdatetime),写入加默认时间,修改更新最后一次时间,实现增量抽取数据,自己也加了这个携程技术同事QQ,问了一些关于增量抽取的问题,发现他们用的是SSIS来做增量抽取的。

      最后得到信息: 增加2个时间字段,使用SSIS做同步数据

   过程:

      因为当时对SSIS不熟,花费了一些时间适应,特别是在SSIS写C#脚本,特别麻烦,自己边查资料边用,自己用visio还画图,要实现功能:

       1,同步的两边数据库IP,账号,密码等配置到数据表里(方便后面调整)

       2,出错重抽

       3,实现增量抽取

       4,抽取日志记录,下次执行工具上次结果来执行

       5,多个SSIS包,共用一个配置数据库和表

   对接:

      自己经过一个月的研究摸索,终于实现了以上的功能,但是如何在表里加这2个字段,几百张表,默认都没加。研发总监召集大家开会,决定批量增加这2个字段, 默认创建,修改时间都加getdate()时间,研发人员在程序里,有update的批量加上row_lastupdatetime=getdate(),我批量在数据库里加上这2个字段。

      删除数据问题:

        处理完增加和修改时间问题,发现同步的表,有删除数据的情况,如何处理,源表已删除,同步系统,无法把目的库的删除数据删除,后面又让研发新加表时,加上is_deleted字段,但已有表,如果加这个字段区分,程序逻辑,查询逻辑会大改,对业务影响太大,肯定不行。研发总监又召集大家开会,我在会上说,每个同步的表,对应建一个删除表,删除的主键id和时间记录到对应的删除表里(每个表对应一个删除表)。

     我同步时候,通过这个对应的删除表里的创建时间,把这个删除id同步到目标库,通过id删除掉仓库表里的数据。

     这个建议结果通过了,结论是领导说分给我一个同事,让我来主导这个事情, 提的建议变成自己的活

    但经过研发努力,涉及的同步表也不多,删除记录表也处理好了,最终这个从IDC同步到仓库的同步系统上线了。因同步到仓库的表不是很多,一开始就10多个表。每个表一个SSIS包,包部署到仓库服务器上。

     运行故障:

      同步包运行了一段出现以下故障: 

        1,同步包同步资源报错故障

              记得出故障,晚上回家的路上,回家后立即处理,当时的确没找到原因,没办法先解决问题,把同步包从仓库部署的,改成部署到线上库。结果不报错了,后来花了一周时间找到原因:

         原来线上数据库限制运行最长时间,后来和领导沟通去掉后,再把包部署到仓库,实现拉模式抽取数据

       2,事务太长,有些数据没同步过来

           研发发现,有些数据漏抽,研究发现,有些事务运行时间比较长,没办法,把同步时间,从上次结束时间,开始往前提前30秒以上,多抽取一些,避免漏抽。

       3,程序checksum检查

          因同步到仓库作业,有订单主表,和明细表等,研发有时发现有偶尔数据不对,最后没办法,在订单明细表,把商品数量,金额等checksum后,和线上的数据做对比,对比正确用线下的数据,不对的用线上数据,减少因同步数据导致订单出库异常

      4,2台服务器时间不一致

          因服务器的时间同步有时报错,导致时间有时不对,程序取服务器当前时间就有问题,这时getdate()时间都从源服务器时间为准,不用目的服务器时间。

     额外带来效益:

        1,  该同步系统用起来,开出15个本地仓库在使用。

        2,在开城市分站(北京,深圳等),用该同步系统从主库同步数据到新分站库(写了很多表同步包)

               因开分站,为方便快速开出来,直接拷贝上海站的数据库弄个空库,再部署程序方式

       3,当时某大厂电商收购公司搞融合,某大厂的研发用php程序从主库同步数据到前端MySQL库,一开始他们坚持用同步字段:同步一次加1减1方式,在我的大力建议下,他们也改成通过行修改时间来同步。

   

   总结:

          现在看来这个同步系统,很简陋,第一次做,没想到会有这么多问题需要解决,是对自己考验,但这个同步系统的确解决了公司快速开分仓,开分站的问题。

          很有用的系统,觉得是一个比较有意义的创新。至今我还回忆深刻,也在我工作中给很大的激励和鼓舞,遇到难题想办法,也必定有解决办法。

 

posted @ 2021-08-17 15:48  zping  阅读(713)  评论(0编辑  收藏  举报