Loading

随笔分类 -  数据同步

摘要:1. 同步到 PG 出现 invalid byte sequence for encoding "UTF8": 0x00 invalid byte sequence for encoding "UTF8": 0x00(注意:若不是 0x00 则很可能是字符集设置有误),是 PostgreSQL 独有 阅读全文
posted @ 2024-07-30 17:04 kingron 阅读(426) 评论(0) 推荐(0)
摘要:See: DataX/rdbmsreader/doc/rdbmsreader.md at master · alibaba/DataX See also: Configuring Impala to Work with JDBC See also Maven Repository: org.apac 阅读全文
posted @ 2024-07-17 17:02 kingron 阅读(226) 评论(0) 推荐(0)
摘要:参考 如何更改 datax 以支持hive 的 DECIMAL 数据类型? - 掘金 Datax-HdfsWriter如何实现支持decimal类型数据写入_datax hdfs decimal-CSDN博客 阅读全文
posted @ 2024-07-05 18:27 kingron 阅读(110) 评论(0) 推荐(0)
摘要:参考 DataX二次开发-支持writeMode配置update - xmz_pc - 博客园 Datax 支持增量 postgresql writeMode update_datax hdfdsreader postgresqlwriter-CSDN博客 阅读全文
posted @ 2024-06-13 09:07 kingron 阅读(304) 评论(0) 推荐(0)
摘要:DataX MysqlWriter 1 快速介绍 MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上, MysqlWriter 通过 JDBC 连接远程 Mysql 数据库,并执行相应的 insert into ... 或者 ( replace into .. 阅读全文
posted @ 2024-06-03 15:50 kingron 阅读(59) 评论(0) 推荐(0)
摘要:hdfsreader 来源:github-datax-hdfsreader 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文件格 阅读全文
posted @ 2024-06-03 13:55 kingron 阅读(75) 评论(0) 推荐(0)
摘要:DataX HiveReader 来源:github-datax-hivereader 1 快速介绍 Hivereader插件:从Hive表读取数据 2 实现原理 实现方式是:根据配置的QuerySql,通过将查询结果保存到一张新的临时hive表中这种方式;然后获取临时表的hdfs文件地址,然后读取 阅读全文
posted @ 2024-06-03 13:54 kingron 阅读(462) 评论(0) 推荐(0)
摘要:hive 创建测试表 单个分区键 建表 SQL: -- 创建分区表 CREATE TABLE my_partitioned_table ( id INT, name STRING ) PARTITIONED BY (created_date STRING) ROW FORMAT DELIMITED 阅读全文
posted @ 2024-05-30 14:29 kingron 阅读(74) 评论(0) 推荐(0)