1.oozie的介绍
oozie:是一个任务调度管理系统。通过xml实现任务的定制。底层是通过mapreduce来完成任务的执行。实际跑的就是一个maptask。任务之间是通过DAG(有向无环图)来进行调度。
2.oozie的架构
1)client:客户端用于提交任务,通过命令提交任务。
2)server:web服务,提供一个ui界面。
3)hadoop集群:用于执行maptask任务,相关的资源,包括需要的jar包,执行的任务都要提交到hdfs上。
4)mysql:用于存储提交的任务信息。
oozie的组件介绍
1)workflow:工作流,用于及时的进行任务调度。
2)coordinator:协作器,通过协作器来完成定时的任务。
3) bundle:多个协作器组成一个bundle。
平行目录:
/export/servers/oozie
/export/aaa
/export/servers/bbb
3.定时任务的调度
两种实现方式:
1)基于数据的任务调度
2)基于时间的任务调度