摘要：
CDH 5.12.0 默认spark使用1.6.0，虽然spark 1.6.0支持DataFrame，但显得有点版本过旧。需要在cdh 5.12中使用spark 2.X版本，网上搜索了一圈，基本都是都是通过parcels方式进行安装，官方也推荐这种方式。本人比较懒，所以就想Apache spark原 阅读全文
posted @ 2019-05-07 15:04
zzhuang913
阅读(1004)
评论(0)
推荐(0)
摘要：
1、下载azkaban源代码，地址https://github.com/azkaban/azkaban/releases，选择最新release版下载。如wget https://github.com/azkaban/azkaban/archive/3.71.1.tar.gz2、解压源文件tar - 阅读全文
posted @ 2019-04-17 14:39
zzhuang913
阅读(1042)
评论(0)
推荐(0)
摘要：
Parameter PassingThere is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on th 阅读全文
posted @ 2019-04-15 15:38
zzhuang913
阅读(2641)
评论(0)
推荐(0)
摘要：
spring boot,mysql,mybatis 阅读全文
posted @ 2019-04-14 20:58
zzhuang913
阅读(278)
评论(0)
推荐(0)
摘要：
jar下载地址：https://www.oracle.com/technetwork/database/application-development/jdbc/downloads/index.html 下载本地后，执行命令：mvn install:install-file -DgroupId=co 阅读全文
posted @ 2019-03-28 14:20
zzhuang913
阅读(142)
评论(0)
推荐(0)
摘要：
使用ojdbc14 10.2.0.4 进行批量写入数据到oracle时，日志中出现大量异常ArrayIndexOutOfBoundsException信息。 阅读全文
posted @ 2019-03-27 16:10
zzhuang913
阅读(869)
评论(0)
推荐(0)
摘要：
由于项目需要，需要把数据写入大数据平台的HDFS，大数据平台使用kerberos认证，且做了HA。由于之前没有使用过这种场景，在网上找了一圈，并且踩了几个坑，终于搞定。以下是代码和注释。 以上代码看起来比较多，其实最简单多方式是通过configuration.addResource的方式添加配置信息 阅读全文
posted @ 2019-03-27 15:58
zzhuang913
阅读(634)
评论(0)
推荐(0)
浙公网安备 33010602011771号