上一页 1 2 3 4 5 6 7 8 9 10 ··· 15 下一页
摘要: 1.schedule azkaban的schedule内部就是集成的quartz,而 quartz语法就是沿用linux crontab,crontab可照本文第2点 此处以此project(azkaban使用--传入动态参数)为例,设置为每五分钟跑一次 增加 Flow Parameters "ui 阅读全文
posted @ 2019-04-29 10:20 pu20065226 阅读(10213) 评论(0) 推荐(0) 编辑
摘要: 转: azkaban的工作流中的参数可以分为如下几个类型:azkaban UI 页面输入参数, 环境变量参数, job作业文件中定义的参数,工作流的用户定义的属性文件,上游作业传递给下游的参数,工作流运行时产生的系统参数,job的common参数等。 参数的作业范围分类,对当前job有效局部有效,对 阅读全文
posted @ 2019-04-28 17:40 pu20065226 阅读(2764) 评论(0) 推荐(0) 编辑
摘要: PS:局限,虽然可以指定在一台节点上执行,但是失去了高可用的优势,如果有不同类型的任务建议用多套azkaban 假如二台executor,下图中的4,5,我想将任务运行在hadoop02上,因为只有这台机器上装了tomcat 这个任务在没有被指定时,运行在hadoop03上 指定 运行exector 阅读全文
posted @ 2019-04-28 15:50 pu20065226 阅读(2597) 评论(0) 推荐(0) 编辑
摘要: 1.创建作业 2.上传执行 查看flow log,确定运行在哪个节点上 阅读全文
posted @ 2019-04-28 15:30 pu20065226 阅读(936) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/zlx510tsde/article/details/52287931 官网:https://azkaban.readthedocs.io/en/latest/ 1.用户权限管理介绍 azkaban使用jetty创建服务端,通过配置$AZKABAN_ 阅读全文
posted @ 2019-04-28 11:13 pu20065226 阅读(1445) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/huoji1990/article/details/81911904 官网:https://azkaban.readthedocs.io/en/latest/ 1. Azkaban(阿兹卡班)是什么? Azkaban是由Linkedin公司推出的一个 阅读全文
posted @ 2019-04-28 10:34 pu20065226 阅读(510) 评论(0) 推荐(0) 编辑
摘要: 本文转载自:工作流调度器azkaban,主要用于架构选型,安装请参考:Azkaban安装与简介,azkaban的简单使用 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后 阅读全文
posted @ 2019-04-28 09:48 pu20065226 阅读(735) 评论(0) 推荐(0) 编辑
摘要: 简单使用 create job 右上角 project创建成功 创建job并上传至该project 将此文件下载到windows上 这里也可以看 查看job内容 查看日志 点击detail,可查看job logs 查看flow log 阅读全文
posted @ 2019-04-26 10:49 pu20065226 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 参考文章:https://blog.csdn.net/weixin_35852328/article/details/79327996 官网:https://azkaban.readthedocs.io/en/latest/ Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一 阅读全文
posted @ 2019-04-25 11:39 pu20065226 阅读(2000) 评论(0) 推荐(1) 编辑
摘要: 本文转载:https://www.cnblogs.com/yangp/p/8506264.html (一)yum源概述 yum需要一个yum库,也就是yum源。默认情况下,CentOS就有一个yum源。在/etc/yum.repos.d/目录下有一些默认的配置文件(可以将这些文件移到/opt下,或者 阅读全文
posted @ 2019-04-25 09:51 pu20065226 阅读(317) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 15 下一页