JackpotHan

摘要： 前面四篇已经介绍了datax的基本概念、如何新增plugins、怎么打包运行。掌握了前面四章的内容，基本就知道datax是干嘛的、设计原理是什么、如何运行，运行结果是怎样的。 但是，有个问题你们想过没：“Java程序如何集成此工具实现定时或自动同步？” 怀着这个疑问，终于在github找到了答案-- 阅读全文

摘要： 上篇文章介绍了源码的打包，这篇文章就主要介绍如何将程序运行起来，并实现数据的同步。 对于DataX程序运行，有两种方式，上文介绍的自定义插件开发并打包运行是比较复杂的一种； 而相对简单地一种方式就是直接将datax编译后的文件下载下来。DataX下载地址 下载后解压至本地某个目录，进入bin目录，即 阅读全文

摘要： 最近发现电脑brew命令有些问题，网上搜索的结果也没能很好的结果问题，最后决定卸载重装。 想要知道brew安装卸载命令的，可以浏览器直接访问 https://brew.sh/ 官方推荐卸载方式为： /bin/bash -c "$(curl -fsSL https://raw.githubuserco 阅读全文

摘要： 前面两篇文章已经介绍了DataX的基本信息及插件开发，接下来就该介绍下如何将开发的程序打包运行起来。 开发手册里面已经说明了DataX源码编译使用assembly打包，打包命令如下： mvn clean package -DskipTests assembly:assembly 所以pom.xml内 阅读全文

摘要： DataX为什么采用插件机制？ 从设计之初，DataX就把异构数据源同步作为自身的使命，为了应对不同数据源的差异、同时提供一致的同步原语和扩展能力，DataX自然而然地采用了框架 + 插件 的模式： 插件只需关心数据的读取或者写入本身。 而同步的共性问题，比如：类型转换、性能、统计，则交由框架来处理 阅读全文

摘要： what IS DataX ? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架， 阅读全文

摘要： 在介绍异常之前，先贴出写的工具类吧，毕竟空谈无用嘛。 public class JacksonUtil { private static Logger logger = LoggerFactory.getLogger(JacksonUtil.class); private final static 阅读全文

摘要： 此工具类主要实现了获取指定日期开始时间戳/结束时间戳，指定格式的时间格式化，如将时间转换成整十分钟、整三十分钟、整十二小时，具体的用法代码可见main方法。 实现方案结合的日历类，可能有更优的方案，大家可以一起探讨下。 public class DateUtil { public static fi 阅读全文

摘要： 一、函数 做接口性能测试过程中，经常需要用不重复的参数来进行测试，而Jmeter恰巧就提供的随机函数，很好的解决这个难题。 Jmeter共提供了4种随机数分别为：数字随机数Random、日期随机数RandomDate、字符串随机数RandomString，变量随机数RandomFromMultipl 阅读全文

摘要： 前言 上篇已经给大家介绍了一款自动化测试工具--locust。从介绍中可以我们知道locust是基于python语言进行自动化测试，所以需要有python基础。而今天要给大家介绍的是Java开发常用并且可以说是官方标配的工具--Jmeter。 安装配置 因为Jmeter是使用JAVA写的，所以使用J 阅读全文