再谈kettle两种循环之--调用http分页接口循环获取数据

再谈kettle两种循环之 – 调用http分页接口循环获取数据

1.场景介绍：

由于数据量比较大,接口有返回限制,需要用到循环分页获取数据

2.案例适用范围：

循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考

3.整个job设置如下设计：

循环方式1

循环方式2

4.JOB运行结果

调用接口返回总数据量：

循环方式1