zhihuifan

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

最近有个功能,把数据库的数据定时的写入到azkaban,接口已经写好了,还差一个定时调度,所以我选用azkaban去实现这个功能。azkaban安装以后,执行job去调度接口,

总时出现异常信息,整了好长时间,才发现问题所在,在这里记录下异常解决流程,方便大家解决问题

azkaban安装以后,首先创建job: 

  原生的 Azkaban 支持的plugin类型有以下这些:

    command:Linux shell命令行任务

    gobblin:通用数据采集工具

    hadoopJava:运行hadoopMR任务

    java:原生java任务

    hive:支持执行hiveSQL

    pig:pig脚本任务

    spark:spark任务

    hdfsToTeradata:把数据从hdfs导入Teradata

    teradataToHdfs:把数据从Teradata导入hdfs


这里以command为例,创建job,相关内容如下:
  

 把job文件压缩成zip文件(如果是多个文件关联的,要设置文件依赖关系,压缩时多个文件应该放在同一级)

但是azkaban执行job时总是出错,相关异常信息如下:

 

最后发现是type类型后空格问题引起的异常,如下图:

去掉job中的空格,重新压缩job,azkaban执行后正常

问题解决!

 

 

参考:

https://www.jianshu.com/p/f2310a5c38c6 

https://www.jianshu.com/p/01188607a794

 

声明:此博客为个人学习之用,如与其他作品雷同,纯属巧合,转载请指明出处!

posted on 2019-08-06 13:09  Hi,ZHF  阅读(276)  评论(0)    收藏  举报