azkaban配置

azkaban:
========================
    工作流调度器


crontab：
    Linux自带定时任务

azkaban：
    轻量级工作流调度器
    linkedIn

oozie：
    复杂任务调度器，重量级
    apache



本地log ===>  MR程序数据清洗 ====> load hive ===> hql ===> hdfs

job        job           job          job


ETL:
    Extract    Transform Load
    抽取    转换      加载


调度工具使用：
=======================
    1、在本地编写job 
        oozie：xml
        azkaban：text k=v

    2、将job进行打包，并通过web页面提交到调度执行器

    3、调度执行器执行调度任务


azkaban安装：
========================
    阶段一：初始化azkaban

        1、创建/soft/azkaban文件夹
        2、将azkaban-web-server-3.46.0.tar.gz
             azkaban-exec-server-3.46.0.tar.gz
           解压到/soft/azkaban下
           tar -xzvf azkaban-web-server-3.46.0.tar.gz -C /soft/azkaban
           tar -xzvf azkaban-exec-server-3.46.0.tar.gz -C /soft/azkaban

        3、将create-all-sql-3.46.0.sql放在/soft/azkaban下

        4、进入mysql并创建数据库
            mysql -uroot -p
            mysql> create database azkaban

        5、使用source命令运行sql脚本(mysql 命令行)
            mysql> use azkaban;
            mysql> source /soft/azkaban/create-all-sql-3.46.0.sql

        azkaban初始化完成
    
    阶段二：创建SSL配置
        1、 生成SSL秘钥
            keytool -keystore keystore -alias jetty -genkey -keyalg RSA

            Enter keystore password:            //hadoop
            Re-enter new password:                //hadoop
            What is your first and last name?        
              [Unknown]:                    //回车
            What is the name of your organizational unit?
              [Unknown]:                    //回车
            What is the name of your organization?
              [Unknown]:                    //回车
            What is the name of your City or Locality?
              [Unknown]:                    //回车
            What is the name of your State or Province?
              [Unknown]:                    //回车
            What is the two-letter country code for this unit?
              [Unknown]:                    //CN
            Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
              [no]:                        //yes

            Enter key password for <jetty>
                (RETURN if same as keystore password):    //回车

        2、将当前目录产生的keystore文件复制到/soft/azkaban/azkaban-web-server-3.46.0下
            cp keystore /soft/azkaban/azkaban-web-server-3.46.0

        
        至此，SSL配置完成


    阶段三：配置文件
        1、修改azkaban-web配置文件/soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban.properties
            
            # 默认时区,改为亚洲/上海
            default.timezone.id=Asia/Shanghai                          
            #修改数据库信息
            database.type=mysql
            mysql.port=3306
            mysql.host=s101
            mysql.database=azkaban
            mysql.user=root
            mysql.password=root
            mysql.numconnections=100

        2、修改azkaban-exec配置文件/soft/azkaban/azkaban-exec-server-3.46.0/conf/azkaban.properties
            
            # 默认时区,改为亚洲/上海
            default.timezone.id=Asia/Shanghai                          
            #修改数据库信息
            database.type=mysql
            mysql.port=3306
            mysql.host=s101
            mysql.database=azkaban
            mysql.user=root
            mysql.password=root
            mysql.numconnections=100

        3、修改azkaban-web下的/soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban-users.xml
            <azkaban-users>
              <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
              <user password="metrics" roles="metrics" username="metrics"/>
              <!-- 添加 -->
              <user username="admin" password="admin" roles="admin,metrics"/>
              <role name="admin" permissions="ADMIN"/>
              <role name="metrics" permissions="METRICS"/>
            </azkaban-users>

        
启动azkaban：
=========================
    1、启动azkaban的web服务
        /soft/azkaban/azkaban-web-server-3.46.0>$ bin/start-web.sh

    2、启动azkaban的exec服务
        /soft/azkaban/azkaban-exec-server-3.46.0>$ bin/start-exec.sh

    3、将以上编写脚本
        /usr/local/bin/azweb.sh:增加执行权限
        
        #!/bin/bash
        if [ $# -ne 1 ] ; then echo param must be 1 ; exit ; fi
        cmd=$1
        cd /soft/azkaban/azkaban-web-server-3.46.0 ; 
        case $cmd in
            start ) bin/start-web.sh ;; 
            stop ) bin/shutdown-web.sh ;;
            * ) echo illegal argument ; exit ;;
        esac
        echo ================ $cmd azweb  ================


        /usr/local/bin/azexec.sh:增加执行权限

        #!/bin/bash
        if [ $# -ne 1 ] ; then echo param must be 1 ; exit ; fi
        cmd=$1
        cd /soft/azkaban/azkaban-exec-server-3.46.0 ; 
        case $cmd in
            start ) bin/start-exec.sh ;; 
            stop ) bin/shutdown-exec.sh ;;
            * ) echo illegal argument ; exit ;;
        esac
        echo ================ $cmd azexec  ================
        
    4、启动web和exec
        azweb.sh start
        azexec.sh start

    
    5、打开azkaban的web界面
        s101:8081

    6、输入用户名和密码
        admin
        admin
    
        

问题1：azkaban的exec进程起不来
    原因：conf/global.properties文件不存在
    解决：/soft/azkaban/azkaban-exec-server-3.46.0>$ touch conf/global.properties

问题2：azkaban的web进程自动停止
    原因：conf/azkaban.properties配置有误
    解决：将配置文件中配置信息后的空格或特殊字符全部删除(包括空格)

问题3：azkaban的web进程起不来
    原因：未初始化数据库
    解决：进入到mysql，输入：
                mysql> use azkaban;
                mysql> source /soft/azkaban/create-all-sql-3.46.0.sql

问题4：azkaban执行job时提示：请求内存，重试
    原因：azkaban在执行时会检查主机内存是否超过3G，否则提示以上
    解决：/soft/azkaban/azkaban-exec-server-3.46.0/plugins/jobtypes/commonprivate.properties
          添加以下配置
          memCheck.enabled=false
    
    
                

azkaban的job创建和使用：
=============================
    
    1、创建单一job：command1.job
        # command1.job
        type=command
        command=echo helloworld
    
    2、将job打包
        将command1.job打成zip压缩包

    3、创建project(web)
        在web界面点击create project，输入
            name：        关于job的名称
            description：    job相关信息(不能留空，不能中文)

    4、上传job
        在project页面点击upload,选择job的zip包并上传

    5、执行job
        点击execute flow执行job
        
        

hive    -e    hive -e "create table xxx(id int, name string)"
    -f    hive -f create.hql

                create.hql ===> create table xxx(id int, name string)