camash

摘要：随着我司的应用都开始容器化，相应的ETL流程也需要迁移到容器中。常规的SQL和shell脚本迁移之后执行基本没有问题，主要的问题在于数据接入使用kettle的场景下，kettle启动异常。 kettle部署方式 kettle挂载在某台主机的路径下，该路径映射到一个装有Azkaban容器的路径，日常任 阅读全文

摘要：6月份的大部分时间在完成一个特殊的数据迁移工具，将文件中的标签整合到关系型数据库的表字段中。从近几年的技术趋势和参与的项目看，基本都是从关系型数据库往大数据组件迁移。在这个项目中，主要是客户和相关应用的供应商依赖于PostgreSQL的GIS插件。因此我也有幸使用了一次PostgreSQL数据库。本 阅读全文