2023年2月13日
DataX二次开发——HdfsReader和HdfsWriter插件增加parquet文件读写
摘要： 一、研发背景 DataX官方开源的版本支持HDFS文件的读写，但是截止目前，并没有支持Parquet文件的读写，得益于DataX出色的数据同步性能，去年公司的项目大部分采用了DataX作为数据同步工具，但是从CDH集群同步Parquet或者将其他数据源的数据以Parquet格式写入HDFS，这两个常 阅读全文
posted @ 2023-02-13 10:24 ^王晓明^ 阅读(2557) 评论(14) 推荐(0)