“G”术时刻:从GreePlum 迁移至南大通用GBase8a的工具及方法介绍

针对greenplum系语法,南大通用GBase 8a分别有对应的语法迁移工具,分别为GBaseMigrationToolkit 、gpto8a_V1.1_build1、DataX等,这些迁移工具可以很大程度上减轻人工迁移的工作量;除了迁移工具外,GBase 8a还提供相对全面的迁移文档可参考。

在线迁移工具:GBaseMigrationToolkit,主要面向表结构、小数据量迁移;

GP脚本迁移工具和文档
gpto8a_V1.1_build1工具主要迁移表结构、存储过程、函数、和sql,部分复杂SQL可能需要人工干预,但是可以大大减少迁移工作量,用法实例如下:
image

批量数据迁移:DataX
该工具为开源工具,GBase 8a在此基础上适配了8a的插件,可以高速的将GP的数据抽取到GBase 8a。
具体使用方法:

一、插件的部署

1、将datax.zip文件解压,8a的插件已经在压缩包里,解压后就能使用
2、datax_plugin_build2.0单独的8a读写插件
     将gbase8amppftpreader.zip文件解压,将解压后的gbase8amppftpreader文件夹拷贝到datax/plugin/reader目录
     将gbase8amppftpwriterzip文件解压,将解压后的gbase8amppftpwriter文件夹拷贝到datax/plugin/writer目录
     就可以使用了

二、job模板的生成

1、可以通过命令生成gbase8a读写插件的job模板:python datax.py -r gbase8amppftpreader -w gbase8amppftpwriter    -r 指定读组件,-w 指定写组件
2、插件的功能及参数说明,见与插件名称对应的md文件内容

三、job的启动

1、可以通过命令启动job:
     cd datax/bin
     python datax.py ../job/8a28a_ftp_job.json
posted @ 2025-07-04 14:07  GBASE南大通用  阅读(10)  评论(0)    收藏  举报