2019年8月22日

singer tap-minio-csv 使用

摘要： 使用tap-minio-csv 我们可以将s3 中csv 的文件，通过singer 的target 写到不用的系统中，可以兼容 s3 的存储类型,以下是一个集成minio 的测试，将minio 中的csv 数据导入到pg中 环境准备 docker-compose 文件 version: "3" se 阅读全文

posted @ 2019-08-22 19:31 荣锋亮 阅读(483) 评论(0) 推荐(0)

Singer 修改tap-s3-csv 支持minio 连接

摘要： singer 团队官方处了一个tap-s3-csv 的tap，对于没有使用aws 的人来说并不是很方便了，所以简单修改了 下源码，可以支持通用的s3 csv 文件的处理，同时发布到了官方pip 仓库中，方便大家使用。 以下是简单代码修改部分的说明，以及如何发布pip包 修改说明 主要是关于连接s3 阅读全文

posted @ 2019-08-22 18:40 荣锋亮 阅读(442) 评论(0) 推荐(0)

导航