数据抽取平台pydatax介绍

   缘起一:

        公司现有数据仓库,是通过kettle从mysql抽取到目标库,运行多年,主要有以下问题,

            1,效率低:kettle抽取行数少 

            2,容错性差:一个表抽取出错就导致后续计算会出问题,

            3,扩展性差: 对多库多表等支持不好

     近300张表抽取,再加上计算,每天都算到7点,还有2个巨大的计算要等到10点左右才能算完。

    上一任数仓开发者,使用datax来替换kettle,将数据通过datax抽取到新的greeplum中,效率很高,而且稳定,但每个表一个shell文件,300个表要300个shell文件,每次修改都要登陆到linux修改,太麻烦了。但迁移了部分表又没有全部迁移。

     自从2022年11月接下这套数据仓库系统,就想怎么优化这数仓系统。

  缘起二:

       2023年10月开始,公司接了几个关于数据指标系统计算的大单。经济形势不好,经济上开始开源节流,我们这些维护人员转做项目,当项目确定后,和另一个开发人员一起做个数据仓库系统。这个数据仓库的ETL抽取层任务交给我,因为以前设计和实现过下面2个系统:

        1、SSIS数据同步系统

        2,用ELK分析每天4亿多条腾讯云MySQL审计日志(1)--解决过程   

   借鉴2个系统的思路,就想,是否可以通过程序调用datax,做个闭环的基于datax的系统,不用再写很多shell文件,将其元数据都配置化,提高开发效率。

 方法:

      市面上是有datax_web这个可视化配置平台,自己测试,和自己想要的不一样,思考了一下,要么用linux的shell或者python3来写这个datax的配置调度,将其需要的数据都配置化:

       1,测试了linux的shell,在读取mysql表数据字段数据时,进行多字段数据读取,字段数据读出后,不能很好分割出,有空格的会作为一个新字段。不可用

       2,因datax也是python开发的,支持python2,想用python3程序开发,实现配置化,通过测试,发现是可以直接在python3程序调用datax,而且很方便。 可用

  目标:   简化datax的开发,其配置等数据都数据库表配置化

        经过1个多月的开发和测试,达到了上面的2个要求,同时可以记录执行过程等相关信息(如抽取时间,抽取速度,抽取行数等),执行错误记录相关错误信息,不用再登陆到linux去看日志文件信息。

        这个小系统,被命名为pydatax抽取系统,和以前用kettle和单个文件datax相比,有很大优势: 简单,实用和高效

     pydatax新系统带来巨大便利:

    1.   抽取表等相关信息数据全部可配置化
    2.   抽取出错信息直接表中查看
    3.   新加和修改直接修改表数据即可完成,极大提高效率
    4.   抽取历史数据和错误数据可单独执行
    5.   有抽取的历史记录日志等信息
    6.   该平台免费简单,可以根据实际项目需求做二次修改, 其T+1的ETL数据库功能可以替换阿里云的Dataworks和腾讯云的数据集成

   相关文档:

  1.     数据抽取平台pydatax介绍--实现和项目使用
  2.     数据抽取平台pydatax介绍

       

 

posted @ 2024-02-21 15:58  zping  阅读(336)  评论(0编辑  收藏  举报