摘要: 转: azkaban的工作流中的参数可以分为如下几个类型:azkaban UI 页面输入参数, 环境变量参数, job作业文件中定义的参数,工作流的用户定义的属性文件,上游作业传递给下游的参数,工作流运行时产生的系统参数,job的common参数等。 参数的作业范围分类,对当前job有效局部有效,对 阅读全文
posted @ 2019-04-28 17:40 pu20065226 阅读(2773) 评论(0) 推荐(0) 编辑
摘要: PS:局限,虽然可以指定在一台节点上执行,但是失去了高可用的优势,如果有不同类型的任务建议用多套azkaban 假如二台executor,下图中的4,5,我想将任务运行在hadoop02上,因为只有这台机器上装了tomcat 这个任务在没有被指定时,运行在hadoop03上 指定 运行exector 阅读全文
posted @ 2019-04-28 15:50 pu20065226 阅读(2603) 评论(0) 推荐(0) 编辑
摘要: 1.创建作业 2.上传执行 查看flow log,确定运行在哪个节点上 阅读全文
posted @ 2019-04-28 15:30 pu20065226 阅读(936) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/zlx510tsde/article/details/52287931 官网:https://azkaban.readthedocs.io/en/latest/ 1.用户权限管理介绍 azkaban使用jetty创建服务端,通过配置$AZKABAN_ 阅读全文
posted @ 2019-04-28 11:13 pu20065226 阅读(1448) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/huoji1990/article/details/81911904 官网:https://azkaban.readthedocs.io/en/latest/ 1. Azkaban(阿兹卡班)是什么? Azkaban是由Linkedin公司推出的一个 阅读全文
posted @ 2019-04-28 10:34 pu20065226 阅读(511) 评论(0) 推荐(0) 编辑
摘要: 本文转载自:工作流调度器azkaban,主要用于架构选型,安装请参考:Azkaban安装与简介,azkaban的简单使用 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后 阅读全文
posted @ 2019-04-28 09:48 pu20065226 阅读(735) 评论(0) 推荐(0) 编辑