摘要：
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代码在spark-shell中执行没有问题，但是使用sp 阅读全文
posted @ 2018-03-07 21:40
cctext
阅读(5972)
评论(1)
推荐(0)
摘要：
代码示例： 阅读全文
posted @ 2018-03-06 17:24
cctext
阅读(1855)
评论(0)
推荐(0)
摘要：
问题代码： 替换方案： 注意：如果你的业务可以，也可以把flatMap替换为map，我这里边是要求返回结果为一维List集合。 阅读全文
posted @ 2018-03-06 17:23
cctext
阅读(1188)
评论(0)
推荐(0)
摘要：
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例： 阅读全文
posted @ 2018-03-04 22:27
cctext
阅读(481)
评论(0)
推荐(0)
摘要：
代码场景： 1）设定的几种数据场景，遍历所有场景：依次统计满足每种场景条件下的数据，并把统计结果存入hive； 2）已有代码如下： 备注： 在generateSampleBySenceType()函数内部包含有: 如果把代码修改： 则会提示：generateSampleBySenceType()内部 阅读全文
posted @ 2018-03-04 16:56
cctext
阅读(2328)
评论(0)
推荐(0)
摘要：
A表字段与B表中的关联，关联条件中一列是随机关联的实现方式 阅读全文
posted @ 2018-02-03 12:52
cctext
阅读(583)
评论(0)
推荐(0)
摘要：
记录下shell的for的用法，及参数是日期的情况下，该日期+1day的用法： 阅读全文
posted @ 2018-02-02 14:27
cctext
阅读(867)
评论(0)
推荐(0)
摘要：
1）fastjson jar包下载地址：https://sourceforge.net/projects/fastjson/下载完成后需要把jar包拷贝到WEB-INF/lib文件夹中。2）使用pom.xml配置：如果你使用了Maven，maven repository配置如下： pom.xml文件 阅读全文
posted @ 2018-01-31 11:22
cctext
阅读(954)
评论(1)
推荐(0)
摘要：
备注： 如果你不想激活，可以直接使用绿色版（不用激活，下载后解压就可以用）：链接: https://pan.baidu.com/s/10ua3jmx5fQVTN3b0aY6ypA 密码: hhb7 第一步：下载SecureCRT&SecureCRT激活工具 首先下载SecureCRT安装包和Secu 阅读全文
posted @ 2018-01-23 17:17
cctext
阅读(2870)
评论(1)
推荐(0)
摘要：
第一步：安装软件： vmw版本是12，并在vmw下安装centos为CentOS-7-x86_64-DVD-1708.iso； 第二步：修改vmw虚拟网络配置 1）配置VMnet8 修改ip等信息 点击“NAT Settings...”按钮，进入下边窗口设置： 备注：我本机的无线网络ip为自适应，适 阅读全文
posted @ 2018-01-23 16:20
cctext
阅读(455)
评论(0)
推荐(0)
摘要：
Spring MVC提供了以下几种途径输出模型数据：1）ModelAndView：处理方法返回值类型为ModelAndView时，方法体即可通过该对象添加模型数据；2）Map及Model：处理方法入参为org.springframework.ui.Model、org.springframework. 阅读全文
posted @ 2018-01-21 19:20
cctext
阅读(317)
评论(0)
推荐(0)
摘要：
实时测试的速度： --48466条数据 --1.297 inline view更新法 inline view更新法就是更新一个临时建立的视图 update (select a.join_stateas join_state_a,b.join_stateas join_state_b from t_j 阅读全文
posted @ 2018-01-21 06:18
cctext
阅读(447)
评论(0)
推荐(0)
摘要：
今天听DBA说如果从一个表批量查询出一批数据之后批量插入另外一张表的优化方案： 1）不写归档日志； 2）采用独占 关于insert /*+ append */我们需要注意以下三点： a、非归档模式下，只需append就能大量减少redo的产生；归档模式下，只有append+nologging才能大量 阅读全文
posted @ 2018-01-19 20:32
cctext
阅读(3619)
评论(0)
推荐(0)
摘要：
工作中遇到一次批量插入数据抛出异常的情况： 解决方案：删除自增属性，并修改sql把oid包含在查询与插入列中 阅读全文
posted @ 2018-01-19 20:23
cctext
阅读(11480)
评论(0)
推荐(0)
摘要：
在hive中，一般情况下通过 导出文件时，会遇本来表中本来字段值为null的字段导出时为\n。 解决方案： 备注： 1）设置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 则：底层数据保存的是'\N 阅读全文
posted @ 2018-01-19 10:40
cctext
阅读(8576)
评论(3)
推荐(1)
摘要：
单表自动单个分区字段使用方式，请参考：《Oracle12c:自动分区表》 两个分区字段时，必须一个主分区字段和一个子分区字段构成（以下代码测试是在oracle12.1版本）： 备注：上边两个分区字段中p_day是主分区字段，可以自动分区；而p_city是子分区字段，而且不可以自动分区，所选值必须是子 阅读全文
posted @ 2018-01-18 14:11
cctext
阅读(6338)
评论(0)
推荐(1)
摘要：
简介： nohup 命令运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。 用途：不挂断地运行命令。语法：nohup Co 阅读全文
posted @ 2018-01-17 21:40
cctext
阅读(5792)
评论(0)
推荐(0)
摘要：
今天遇到的一个大坑，话不多少，看sql和下边的查询结果： 查询结果： 解决方案： 查询结果： left outer join时的查询结果是： 阅读全文
posted @ 2018-01-15 03:41
cctext
阅读(3269)
评论(0)
推荐(0)
浙公网安备 33010602011771号