03 2018 档案

任务调度工具oozie和azkaban的对比
摘要:1.工作流调度工具:(azkaban 和oozie的对比) 调度工具性能对比:Apache Oozie,其配置工作流的过程是编写大量的XML配置,而且代码复杂度比较高,不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失, 阅读全文

posted @ 2018-03-29 17:42 gxg123 阅读(22133) 评论(5) 推荐(1)

实现Linux和windows之间实现文件传输的问题解决方式。sftp和ftp
摘要:问题: 在将Linux上面的文件传输到Windows上面的时候。出现Auth fail; 解决方法:这个时候需要看你的主机名和端口号是否是正确的。错误如下: 问题2:出现连接拒绝的状态。refuse connection。 我是从Linux到windows上传文件的因为我们使用的jcraft这个包。 阅读全文

posted @ 2018-03-26 18:22 gxg123 阅读(485) 评论(0) 推荐(0)

使用spring-boot创建定时任务。同时创建多线程执行定时任务。
摘要:1,下载spring-boot的maven工程:http://start.spring.io/ 直接自定义工程名称。 2 , 启动类增加注解:@EnableScheduling 具体的业务代码: package com.huike.ftp.main; import java.util.Date;im 阅读全文

posted @ 2018-03-26 18:03 gxg123 阅读(1136) 评论(0) 推荐(0)

关于在hue当中通过oozie提交各类文件的总结(shell脚本,hive ,mr)
摘要:在oozie上面提交作业报错的解决办法: (1) 在oozie上将写好的好sqoop脚本添加上来的时候,这个时候报错。说一直没有权限: 解决方法: (1) 首先想到的时去修改这个文件的权限。然后修改之后还是不行。然后尝试各种各样的问题(hue采用的是4.1.0,oozie采用的是4.2.0,sqoo 阅读全文

posted @ 2018-03-19 17:37 gxg123 阅读(1217) 评论(0) 推荐(0)

导航