随笔分类 - oozie
摘要：org.apache.oozie.action.ActionExecutorException: AUTH_FAILED: Not able to perform operation [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices
阅读全文
摘要：解决方法： 将core-site.xml, hdfs-site.xml拷贝到oozie的hadoop配置目录/opt/local/oozie/conf/hadoop-conf
阅读全文
摘要：标题很长：通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点 不过目前从oozie调度测试的例子来看，oozie本身的retry好像并没有参数可以控制跳过失败的节点。必须手工重新rerun的时候指定 -D oozie.wf.rerun.failnodes=fal
阅读全文
摘要：hive表增量抽取到oracle数据库的通用程序(一) 前一篇介绍了java程序的如何编写、使用以及引用到的依赖包。这篇接着上一篇来介绍如何在oozie中使用该java程序。 在我的业务中，分为两段： 1. 查询hive表中的信息，通过oozie可以设置不同的变量作为增量查询的条件。 2. 将hiv
阅读全文
摘要：hive表增量抽取到oracle数据库的通用程序(二) sqoop在export的时候 只能通过--export-dir参数来指定hdfs的路径。而目前的需求是需要将hive中某个表中的多个分区记录一次性导出到oracle数据库中，由于不支持通配符，又不想设置多个workflow。为了替代蹩脚的sq
阅读全文
摘要：根据出错信息是找不到hive的位置，所以想到的解决方法是： 1. 在sqoop的workflow中添加job xml，属性写hive site.xml在hdfs上的位置。 (fail) 2. 直接配置一个hive home的属性,类似于下面的 (fail) 3. 在arg参数中添加hive home
阅读全文
摘要：oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误：
阅读全文
摘要：操作步骤： 1. 修改.hiverc文件 在hive的conf文件夹下面，如果没有.hiverc文件，手工自己创建一个。 参照如下格式添加： 第一行为自定义jar包存放的路径。 第二行为定义的funtion全类名，并且指定函数名为myexp; 2.上传jar包 将jar包上次到上面的目录中/usr/
阅读全文
摘要：在oozie中有Bundle、Coordinator和Workflow三种类型的job，他们之间可以有以下包含关系。 Bundle > Coordinator > Workflow。 1. 重新运行一个Coordinator job，可以通过如下命令： 2. 如果只想重新运行一个workflow j
阅读全文
摘要：EL表达式： 常用表达式： 昨天: ${coord:formatTime(coord:dateOffset(coord:nominalTime(),-1,'DAY'),'yyyy-MM-dd')} 上月: ${coord:formatTime(coord:dateOffset(coord:nomin
阅读全文
摘要：ooziejob执行后 1. job.properties、coordinatior.xml中设置的值都是不可变的，除非将job kill掉，然后重新调度。 2. workflow.xml、script.q等文件可以通过rerun来重新刷新配置 所以在开发时，尽量将公共变量放到coordinator
阅读全文
摘要：样例如下： 当某个coordinator job 开始执行时，oozie会首先检查所有的input-events是否都已满足条件，主要检查以下内容：uri-template 1、uri-template 指定路径的文件或文件夹是否已经存在； 2、done-flag 指定的文件是否存在。 只有当inp
阅读全文
摘要：1. 环境配置 2. 脚本配置 3. 执行job 4. 查看结果 待发布 。。
阅读全文
摘要：1.准备数据源 mysql中表bigdata,数据如下： 2. 准备目标表 目标表存放hive中数据库dw_stg表bigdata 保存路径为 hdfs://localhost:9000/user/hive/warehouse/dw_stg.db/bigdata hive中建表语句如下： 注意点：
阅读全文
摘要：安装步骤 mysql的配置 oozie的安装 oozie的配置 oozie的启动与登录 常用oozie的命令 1. mysql的配置 mysql的安装自行解决，然后在mysql上 创建oozie数据库，创建oozie用户名和密码，并赋值oozie账号登陆oozie数据库的权限。 创建oozie数据库
阅读全文
摘要：1. Error: HTTP error code: 404 : Not Found 原因： 在环境变量中配置的OOZIE_URL有问题配置成了 export OOZIE_URL=http://dwtest-name1:11000 正确配置应该是 export OOZIE_URL=http://dw
阅读全文
摘要：1.Java版本1.8 [root@sht-sgmhadoopdn-04 app]# java -versionjava version "1.8.0_66"Java(TM) SE Runtime Environment (build 1.8.0_66-b17)Java HotSpot(TM) 64
阅读全文
摘要：1.提交作业，作业进入PREP状态 2.执行已提交的作业 3.直接运行作业 4.挂起作业，恢复作业 挂起前状态（RUNNING , RUNNIINGWITHERROR or PREP状态） workflow job will be in SUSPENDED status. 恢复作业，接着上面的挂起操
阅读全文
浙公网安备 33010602011771号