摘要：
Otter 简单介绍 名称：otter ['ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统.。 1、基于Canal开源产品，获取数据库增量日志数据。 Canal 阅读全文
posted @ 2020-07-20 14:43
楔子
阅读(2779)
评论(0)
推荐(0)
摘要：
操作步骤 1）TmpBstAggZwTktModelD 按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d（临时表采用txt格式，按年月日进行分区） 2）HiveBstAggZwTktModelD 连接hive 阅读全文
posted @ 2020-07-20 11:55
楔子
阅读(1285)
评论(0)
推荐(0)
摘要：
详情见图 etl_bst_agg_zw_tkt_model_d.py 支持传递时间参数，不传递时，默认调度昨天的数据 如：python etl_bst_agg_zw_tkt_model_d.py 20200101 20200102 调度20200101这一天的数据 python etl_bst_ag 阅读全文
posted @ 2020-07-20 11:34
楔子
阅读(859)
评论(0)
推荐(1)
摘要：
设计效果如下： 详细介绍 1)设置变量: BEGIN_DATE、END_DATE，STOP_DATE 如图：当BEGIN_DATE=STOP_DATE时，将结束调度 2）检查字段值：检查BEGIN_DATE是否等于STOP_DATE，如果等于，停止Job,不等于的话执行 acc_bas_ticket 阅读全文
posted @ 2020-07-20 11:22
楔子
阅读(1812)
评论(0)
推荐(0)
浙公网安备 33010602011771号