摘要: CDH 5.12.0 默认spark使用1.6.0,虽然spark 1.6.0支持DataFrame,但显得有点版本过旧。需要在cdh 5.12中使用spark 2.X版本,网上搜索了一圈,基本都是都是通过parcels方式进行安装,官方也推荐这种方式。本人比较懒,所以就想Apache spark原 阅读全文
posted @ 2019-05-07 15:04 zzhuang913 阅读(969) 评论(0) 推荐(0) 编辑
摘要: 1、下载azkaban源代码,地址https://github.com/azkaban/azkaban/releases,选择最新release版下载。如wget https://github.com/azkaban/azkaban/archive/3.71.1.tar.gz2、解压源文件tar - 阅读全文
posted @ 2019-04-17 14:39 zzhuang913 阅读(1015) 评论(0) 推荐(0) 编辑
摘要: Parameter PassingThere is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on th 阅读全文
posted @ 2019-04-15 15:38 zzhuang913 阅读(2602) 评论(0) 推荐(0) 编辑
摘要: spring boot,mysql,mybatis 阅读全文
posted @ 2019-04-14 20:58 zzhuang913 阅读(221) 评论(0) 推荐(0) 编辑
摘要: jar下载地址:https://www.oracle.com/technetwork/database/application-development/jdbc/downloads/index.html 下载本地后,执行命令:mvn install:install-file -DgroupId=co 阅读全文
posted @ 2019-03-28 14:20 zzhuang913 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 使用ojdbc14 10.2.0.4 进行批量写入数据到oracle时,日志中出现大量异常ArrayIndexOutOfBoundsException信息。 阅读全文
posted @ 2019-03-27 16:10 zzhuang913 阅读(805) 评论(0) 推荐(0) 编辑
摘要: 由于项目需要,需要把数据写入大数据平台的HDFS,大数据平台使用kerberos认证,且做了HA。由于之前没有使用过这种场景,在网上找了一圈,并且踩了几个坑,终于搞定。以下是代码和注释。 以上代码看起来比较多,其实最简单多方式是通过configuration.addResource的方式添加配置信息 阅读全文
posted @ 2019-03-27 15:58 zzhuang913 阅读(606) 评论(0) 推荐(0) 编辑