随笔分类 - Azkaban

摘要: 界面介绍 首页有四个菜单 projects:最重要的部分,创建一个工程,所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程:创建之前我们先了解下之间的关系,一个工程阅读全文
posted @ 2018-04-15 15:58 扎心了,老铁 阅读(10563) | 评论 (2) 编辑
摘要: 安装过程 1、软件介绍 Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件:azkaban-sql-scr阅读全文
posted @ 2018-04-15 15:53 扎心了,老铁 阅读(2522) | 评论 (0) 编辑
摘要: 一、为什么需要工作流调度器 1、一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行 例如,我们可能阅读全文
posted @ 2018-04-15 15:51 扎心了,老铁 阅读(3740) | 评论 (0) 编辑