文章分类 -  Azkaban

由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。
摘要:一、HDFS操作任务 1)创建job描述文件 [itstar@bigdata111 jobs]$ vi hdfs.job #hdfs job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs -mkdir /azkaban 2)将 阅读全文

posted @ 2020-04-20 19:36 MissRong 阅读(260) 评论(0) 推荐(0) |

摘要:Azkaban-实战(三)java操作任务 使用Azkaban调度java程序 1)编写java程序 1 package azkaban; 2 3 import java.io.FileOutputStream; 4 import java.io.IOException; 5 6 public cl 阅读全文

posted @ 2020-04-20 19:00 MissRong 阅读(2471) 评论(0) 推荐(0) |

摘要:Azkaban-实战(二)多job工作流案例 1)创建有依赖关系的多个job描述 第一个job:1.job [itstar@bigdata111 jobs]$ vi 1.job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs - 阅读全文

posted @ 2020-04-20 18:53 MissRong 阅读(893) 评论(0) 推荐(0) |

摘要:Azkaban-实战(一) Azkaba内置的任务类型支持command、java 一、单一job案例 创建一个job任务没有任何依赖,在Azkaban里直接运行 1)创建job描述文件 [itstar@bigdata111 jobs]$ vim first.job #first.job type= 阅读全文

posted @ 2020-04-20 18:07 MissRong 阅读(716) 评论(0) 推荐(0) |

摘要:一、启动executor服务器 在executor服务器目录下执行启动命令 [itstar@bigdata111 executor]$ pwd /opt/module/azkaban/executor [itstar@bigdata111 executor]$ bin/azkaban-executo 阅读全文

posted @ 2020-04-20 17:50 MissRong 阅读(2798) 评论(0) 推荐(0) |

摘要:配置文件 一、Web服务器配置 1)进入azkaban web服务器安装目录 conf目录,打开azkaban.properties文件 [itstar@bigdata111 conf]$ pwd /opt/module/azkaban/server/conf [itstar@bigdata111 阅读全文

posted @ 2020-04-20 17:42 MissRong 阅读(1601) 评论(0) 推荐(0) |

摘要:一、生成密钥库 Keytool是java数据证书的管理工具,使用户能够管理自己的公/私钥对及相关证书。 -keystore 指定密钥库的名称及位置(产生的各类信息将不在.keystore文件中) -genkey 在用户主目录中创建一个默认文件".keystore" -alias 对我们生成的.key 阅读全文

posted @ 2020-04-20 17:30 MissRong 阅读(633) 评论(0) 推荐(0) |

摘要:一、Azkaban安装前准备 1)将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下 (1)azkaban-web-server-2.5.0.tar.gz (2)azkaban-e 阅读全文

posted @ 2020-04-20 16:50 MissRong 阅读(848) 评论(1) 推荐(1) |

摘要:大数据技术之Azkaban 概述 1.为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系 阅读全文

posted @ 2020-04-20 16:39 MissRong 阅读(269) 评论(0) 推荐(0) |

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3