Azkaban - 文章分类 - MissRong

Azkaban-实战（四）HDFS操作服务＋MR服务＋Hive脚本服务

摘要：一、HDFS操作任务 1）创建job描述文件 [itstar@bigdata111 jobs]$ vi hdfs.job #hdfs job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs -mkdir /azkaban 2）将阅读全文

posted @ 2020-04-20 19:36 MissRong 阅读(260) 评论(0) 推荐(0) |

Azkaban-实战（三）java操作任务

摘要：Azkaban-实战（三）java操作任务使用Azkaban调度java程序 1）编写java程序 1 package azkaban; 2 3 import java.io.FileOutputStream; 4 import java.io.IOException; 5 6 public cl 阅读全文

posted @ 2020-04-20 19:00 MissRong 阅读(2471) 评论(0) 推荐(0) |

Azkaban-实战（二）多job工作流案例

摘要：Azkaban-实战（二）多job工作流案例 1）创建有依赖关系的多个job描述第一个job：1.job [itstar@bigdata111 jobs]$ vi 1.job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs - 阅读全文

posted @ 2020-04-20 18:53 MissRong 阅读(893) 评论(0) 推荐(0) |

Azkaban-实战（一）单一job 案例

摘要：Azkaban-实战（一） Azkaba内置的任务类型支持command、java 一、单一job案例创建一个job任务没有任何依赖，在Azkaban里直接运行 1）创建job描述文件 [itstar@bigdata111 jobs]$ vim first.job #first.job type= 阅读全文

posted @ 2020-04-20 18:07 MissRong 阅读(716) 评论(0) 推荐(0) |

Azkaban-安装部署（四）启动executor服务器+启动web服务器

摘要：一、启动executor服务器在executor服务器目录下执行启动命令 [itstar@bigdata111 executor]$ pwd /opt/module/azkaban/executor [itstar@bigdata111 executor]$ bin/azkaban-executo 阅读全文

posted @ 2020-04-20 17:50 MissRong 阅读(2798) 评论(0) 推荐(0) |

Azkaban-安装部署（三）配置文件

摘要：配置文件一、Web服务器配置 1）进入azkaban web服务器安装目录 conf目录，打开azkaban.properties文件 [itstar@bigdata111 conf]$ pwd /opt/module/azkaban/server/conf [itstar@bigdata111 阅读全文

posted @ 2020-04-20 17:42 MissRong 阅读(1601) 评论(0) 推荐(0) |

Azkaban-安装部署（二）生成密匙库+同步时间配置

摘要：一、生成密钥库 Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。 -keystore 指定密钥库的名称及位置(产生的各类信息将不在.keystore文件中) -genkey 在用户主目录中创建一个默认文件".keystore" -alias 对我们生成的.key 阅读全文

posted @ 2020-04-20 17:30 MissRong 阅读(633) 评论(0) 推荐(0) |

Azkaban-安装部署（一）安装前准备+安装Azkaban

摘要：一、Azkaban安装前准备 1）将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下（1）azkaban-web-server-2.5.0.tar.gz （2）azkaban-e 阅读全文

posted @ 2020-04-20 16:50 MissRong 阅读(848) 评论(1) 推荐(1) |

Azkaban-概述

摘要：大数据技术之Azkaban 概述 1.为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系阅读全文

posted @ 2020-04-20 16:39 MissRong 阅读(269) 评论(0) 推荐(0) |

MissRong

现时的明艳，源于曾经奋斗的泪泉和牺牲的血雨。

公告

文章分类 - Azkaban