“G”术时刻:从GreePlum 迁移至南大通用GBase8a的工具及方法介绍
针对greenplum系语法,南大通用GBase 8a分别有对应的语法迁移工具,分别为GBaseMigrationToolkit 、gpto8a_V1.1_build1、DataX等,这些迁移工具可以很大程度上减轻人工迁移的工作量;除了迁移工具外,GBase 8a还提供相对全面的迁移文档可参考。
在线迁移工具:GBaseMigrationToolkit,主要面向表结构、小数据量迁移;
GP脚本迁移工具和文档
gpto8a_V1.1_build1工具主要迁移表结构、存储过程、函数、和sql,部分复杂SQL可能需要人工干预,但是可以大大减少迁移工作量,用法实例如下:

批量数据迁移:DataX
该工具为开源工具,GBase 8a在此基础上适配了8a的插件,可以高速的将GP的数据抽取到GBase 8a。
具体使用方法:
一、插件的部署
1、将datax.zip文件解压,8a的插件已经在压缩包里,解压后就能使用
2、datax_plugin_build2.0单独的8a读写插件
将gbase8amppftpreader.zip文件解压,将解压后的gbase8amppftpreader文件夹拷贝到datax/plugin/reader目录
将gbase8amppftpwriterzip文件解压,将解压后的gbase8amppftpwriter文件夹拷贝到datax/plugin/writer目录
就可以使用了
二、job模板的生成
1、可以通过命令生成gbase8a读写插件的job模板:python datax.py -r gbase8amppftpreader -w gbase8amppftpwriter -r 指定读组件,-w 指定写组件
2、插件的功能及参数说明,见与插件名称对应的md文件内容
三、job的启动
1、可以通过命令启动job:
cd datax/bin
python datax.py ../job/8a28a_ftp_job.json

浙公网安备 33010602011771号