随笔分类 - 数据同步
摘要:1. 同步到 PG 出现 invalid byte sequence for encoding "UTF8": 0x00 invalid byte sequence for encoding "UTF8": 0x00(注意:若不是 0x00 则很可能是字符集设置有误),是 PostgreSQL 独有
阅读全文
摘要:See: DataX/rdbmsreader/doc/rdbmsreader.md at master · alibaba/DataX See also: Configuring Impala to Work with JDBC See also Maven Repository: org.apac
阅读全文
摘要:参考 如何更改 datax 以支持hive 的 DECIMAL 数据类型? - 掘金 Datax-HdfsWriter如何实现支持decimal类型数据写入_datax hdfs decimal-CSDN博客
阅读全文
摘要:参考 DataX二次开发-支持writeMode配置update - xmz_pc - 博客园 Datax 支持增量 postgresql writeMode update_datax hdfdsreader postgresqlwriter-CSDN博客
阅读全文
摘要:DataX MysqlWriter 1 快速介绍 MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上, MysqlWriter 通过 JDBC 连接远程 Mysql 数据库,并执行相应的 insert into ... 或者 ( replace into ..
阅读全文
摘要:hdfsreader 来源:github-datax-hdfsreader 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文件格
阅读全文
摘要:DataX HiveReader 来源:github-datax-hivereader 1 快速介绍 Hivereader插件:从Hive表读取数据 2 实现原理 实现方式是:根据配置的QuerySql,通过将查询结果保存到一张新的临时hive表中这种方式;然后获取临时表的hdfs文件地址,然后读取
阅读全文
摘要:hive 创建测试表 单个分区键 建表 SQL: -- 创建分区表 CREATE TABLE my_partitioned_table ( id INT, name STRING ) PARTITIONED BY (created_date STRING) ROW FORMAT DELIMITED
阅读全文