datax3.0 实现数据同步

概要

datax 是阿里出品的数据同步工具，它可以在相同的库或不同的库实现表 与表之间实现数据同步。

使用方法

• 需要使用python
  我本地安装的python 的版本是 3.10.11

• 下载 datax 3.0

https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

• 生成配置文件
  datax 是依赖 配置文件实现不同的数据源实现数据同步

python datax.py -r mysqlreader -w mysqlwriter > mysql.json

这样就生成了一个mysql到mysql的配置模板

下面是一个完整的数据模板

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "root",
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://localhost:3306/demo1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai"],
                "table": ["demo1"]
              }
            ],
            "column": ["*"],
            "splitPk": "id"
          }
        },
       
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "root",
            "password": "root",
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://localhost:3306/demo2?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai",
                "table": ["demo1"]
              }
            ],
            "column": ["*"],
            "writeMode": "insert",
            "preSql": [
              "truncate table demo1"
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "1"
      },
      "errorLimit": {
        "record": 1000
      }
    }
  }
}

执行同步
python datax.py mysql.json