最近有个功能,把数据库的数据定时的写入到azkaban,接口已经写好了,还差一个定时调度,所以我选用azkaban去实现这个功能。azkaban安装以后,执行job去调度接口,
总时出现异常信息,整了好长时间,才发现问题所在,在这里记录下异常解决流程,方便大家解决问题
azkaban安装以后,首先创建job:
原生的 Azkaban 支持的plugin类型有以下这些:
command:Linux shell命令行任务
gobblin:通用数据采集工具
hadoopJava:运行hadoopMR任务
java:原生java任务
hive:支持执行hiveSQL
pig:pig脚本任务
spark:spark任务
hdfsToTeradata:把数据从hdfs导入Teradata
teradataToHdfs:把数据从Teradata导入hdfs
这里以command为例,创建job,相关内容如下:
把job文件压缩成zip文件(如果是多个文件关联的,要设置文件依赖关系,压缩时多个文件应该放在同一级)
但是azkaban执行job时总是出错,相关异常信息如下:

最后发现是type类型后空格问题引起的异常,如下图:

去掉job中的空格,重新压缩job,azkaban执行后正常

问题解决!
参考:
https://www.jianshu.com/p/f2310a5c38c6
https://www.jianshu.com/p/01188607a794
声明:此博客为个人学习之用,如与其他作品雷同,纯属巧合,转载请指明出处!

浙公网安备 33010602011771号