2017年5月3日

Oozie4.2 安装部署、以及example测试
摘要： 编译： 使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4 编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop 阅读全文
posted @ 2017-05-03 23:20 ilinux_one 阅读(2868) 评论(0) 推荐(0)
oozie 常用命令
摘要： 1.验证wokflow.xmloozie validate /appcom/apps/hduser0401/mbl_webtrends/workflow.xml 2.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -conf 阅读全文
posted @ 2017-05-03 23:09 ilinux_one 阅读(642) 评论(0) 推荐(0)
Oozie-coordinator调度
摘要： 当有一个复杂的工作流job，希望每天定时执行，使用crontab方式调用需要编写大量的脚本，还要通过大量的判断来控制每个工作流job的执行顺序问题。Oozie中的Coordinator可以让每个工作流workflow当做一个动作来运行，这样就可以将多个job组织起来，并制定触发时间和频率。它的调度方 阅读全文
posted @ 2017-05-03 23:01 ilinux_one 阅读(631) 评论(0) 推荐(0)
Oozie-自定义实现WorkFlow中shell action
摘要： 19.png 19.png 20.png 20.png 21.png 21.png 22.png 22.png 阅读全文
posted @ 2017-05-03 22:41 ilinux_one 阅读(1043) 评论(0) 推荐(0)
Oozie介绍
摘要： 1. Hadoop常见调度框架： （1）Linux Crontab：Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划： 0 12 * hive -f xxx.sql（2）Azkaban：（3）Oozie：Cloudera公司开源（4）Zeus： 阅读全文
posted @ 2017-05-03 22:25 ilinux_one 阅读(7842) 评论(0) 推荐(2)

导航