Loading

随笔分类 -  数据同步

DataX 常见问题及解决方式
摘要：1. 同步到 PG 出现 invalid byte sequence for encoding "UTF8": 0x00 invalid byte sequence for encoding "UTF8": 0x00（注意：若不是 0x00 则很可能是字符集设置有误），是 PostgreSQL 独有 阅读全文
posted @ 2024-07-30 17:04 kingron 阅读(426) 评论(0) 推荐(0)
datax rdbmsreader
摘要：See: DataX/rdbmsreader/doc/rdbmsreader.md at master · alibaba/DataX See also: Configuring Impala to Work with JDBC See also Maven Repository: org.apac 阅读全文
posted @ 2024-07-17 17:02 kingron 阅读(226) 评论(0) 推荐(0)
datax hdfsreader 支持 decimal 类型
摘要：参考 如何更改 datax 以支持hive 的 DECIMAL 数据类型? - 掘金 Datax-HdfsWriter如何实现支持decimal类型数据写入_datax hdfs decimal-CSDN博客 阅读全文
posted @ 2024-07-05 18:27 kingron 阅读(110) 评论(0) 推荐(0)
datax postgresqlwriter 支持覆盖写入 writemode=update
摘要：参考 DataX二次开发-支持writeMode配置update - xmz_pc - 博客园 Datax 支持增量 postgresql writeMode update_datax hdfdsreader postgresqlwriter-CSDN博客 阅读全文
posted @ 2024-06-13 09:07 kingron 阅读(304) 评论(0) 推荐(0)
mysqlwirter
摘要：DataX MysqlWriter 1 快速介绍 MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into ... 或者 ( replace into .. 阅读全文
posted @ 2024-06-03 15:50 kingron 阅读(59) 评论(0) 推荐(0)
hdfsreader
摘要：hdfsreader 来源：github-datax-hdfsreader 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文件格 阅读全文
posted @ 2024-06-03 13:55 kingron 阅读(75) 评论(0) 推荐(0)
DataX HiveReader
摘要：DataX HiveReader 来源：github-datax-hivereader 1 快速介绍 Hivereader插件:从Hive表读取数据 2 实现原理 实现方式是:根据配置的QuerySql,通过将查询结果保存到一张新的临时hive表中这种方式；然后获取临时表的hdfs文件地址，然后读取 阅读全文
posted @ 2024-06-03 13:54 kingron 阅读(463) 评论(0) 推荐(0)
测试数据及常见问题
摘要：hive 创建测试表 单个分区键 建表 SQL： -- 创建分区表 CREATE TABLE my_partitioned_table ( id INT, name STRING ) PARTITIONED BY (created_date STRING) ROW FORMAT DELIMITED 阅读全文
posted @ 2024-05-30 14:29 kingron 阅读(74) 评论(0) 推荐(0)