海盗哥哥

摘要： 用非后缀名方式判断文件类型，文件格式，使用的业务场景不再详细描述了，直接上实现方法（使用者可以进行优化改造）； 1、创建文件类型枚举： package com.shsnc.dbtdemo.common.enums;/** * 文件类型枚举（部分为自定义类型） * * @author klp * @d 阅读全文

摘要： 1、导入相关jar <!--FTPClient--><dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <version>3.3</version></dependency><!-- SFT 阅读全文

摘要： 使用FTPClient 操作FTP时，遇到路径或文件名中文乱码问题； 其中的一种处理方式： 在new FTPClient()后，可以设置编码， ftpClient=new FTPClient(); // Encoding不能在connect,login之后设置 ftpClient.setContro 阅读全文

摘要： Datax源码改造关键步骤记录： 一、作业配置1、一个job配置；reader 和writer 的column 字段必须是所有表共有的；2、reader多张表，writer一个表时，所有reader的数据都会写到一张表里面（叠加）；reader多种表，writer也多张表时，会按表对应顺序一一写入其 阅读全文

摘要： { "common": { "column": { "dateFormat": "yyyy-MM-dd", "datetimeFormat": "yyyy-MM-dd HH:mm:ss", "encoding": "utf-8", "extraFormats": [ "yyyyMMdd" ], "t 阅读全文

摘要： DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX工具是用json文件作为配置文件的，根据官方提供文档我们构建Json文件如下： { " 阅读全文