摘要: 用非后缀名方式判断文件类型,文件格式,使用的业务场景不再详细描述了,直接上实现方法(使用者可以进行优化改造); 1、创建文件类型枚举: package com.shsnc.dbtdemo.common.enums;/** * 文件类型枚举(部分为自定义类型) * * @author klp * @d 阅读全文
posted @ 2022-06-24 19:13 海盗哥哥 阅读(1582) 评论(0) 推荐(0) 编辑
摘要: 1、导入相关jar <!--FTPClient--><dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <version>3.3</version></dependency><!-- SFT 阅读全文
posted @ 2022-06-06 18:21 海盗哥哥 阅读(674) 评论(0) 推荐(0) 编辑
摘要: 使用FTPClient 操作FTP时,遇到路径或文件名中文乱码问题; 其中的一种处理方式: 在new FTPClient()后,可以设置编码, ftpClient=new FTPClient(); // Encoding不能在connect,login之后设置 ftpClient.setContro 阅读全文
posted @ 2022-06-01 18:07 海盗哥哥 阅读(1507) 评论(0) 推荐(0) 编辑
摘要: Datax源码改造关键步骤记录: 一、作业配置1、一个job配置;reader 和writer 的column 字段必须是所有表共有的;2、reader多张表,writer一个表时,所有reader的数据都会写到一张表里面(叠加);reader多种表,writer也多张表时,会按表对应顺序一一写入其 阅读全文
posted @ 2022-05-17 15:26 海盗哥哥 阅读(360) 评论(0) 推荐(0) 编辑
摘要: { "common": { "column": { "dateFormat": "yyyy-MM-dd", "datetimeFormat": "yyyy-MM-dd HH:mm:ss", "encoding": "utf-8", "extraFormats": [ "yyyyMMdd" ], "t 阅读全文
posted @ 2022-05-17 15:21 海盗哥哥 阅读(410) 评论(0) 推荐(0) 编辑
摘要: DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX工具是用json文件作为配置文件的,根据官方提供文档我们构建Json文件如下: { " 阅读全文
posted @ 2021-11-08 16:23 海盗哥哥 阅读(3845) 评论(0) 推荐(0) 编辑