摘要: update 和 delete都属于事物操作。 hive的行级修改 需要开启事物。 阅读全文
posted @ 2019-01-18 22:38 wqbin 阅读(1688) 评论(0) 推荐(0) 编辑
摘要: union all union 相同点 是 相当于上下拼接 上下两个拼接表必须字段保持一致 不同 union有去重效果,速度会更慢。 union all的子句里不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limit 阅读全文
posted @ 2019-01-18 21:52 wqbin 阅读(2403) 评论(0) 推荐(0) 编辑
摘要: 近一月客户新增常规里程数与额度比即上个月 第一天(包含)到上个月最后一天(包含) 字段是batch_date==>格式是 yyyymmdd 阅读全文
posted @ 2019-01-15 15:14 wqbin 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu 阅读全文
posted @ 2019-01-15 14:57 wqbin 阅读(17983) 评论(1) 推荐(2) 编辑
摘要: 需求:某资产近一个月的资产值 比如:今天是2018年2月28日,近一个月若是按照自然月来算,那么是2018年2月1日至2018年2月28日。最终需要的日期格式为:yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期 阅读全文
posted @ 2019-01-15 11:48 wqbin 阅读(7614) 评论(0) 推荐(1) 编辑
摘要: 1. from_unixtime 日期函数UNIX时间戳转日期函数: from_unixtime 语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定 阅读全文
posted @ 2019-01-15 10:43 wqbin 阅读(13552) 评论(0) 推荐(0) 编辑
摘要: 来到广发返现由于历史遗留问题很多时间格式十分杂乱 我将总结一下时间日期的事情 1.hive原生时间函数的功能 2.一些基本业务时间范围的指标的sql案例 3.自定义udf函数让后来人更方便 阅读全文
posted @ 2019-01-15 10:34 wqbin 阅读(237) 评论(0) 推荐(0) 编辑
摘要: 一、hive -e ‘sql语句’ (shell命令) 适合比较短的sql语句调用,优点是可以直接在shell中调用静音模式 -S 在执行HiveQL过程中,不在显示器输出MR的执行过程hive -S -e ‘sql语句’ > test.txt 将执行结果直接输入到本地文件 二、hive -f sq 阅读全文
posted @ 2019-01-15 10:12 wqbin 阅读(2966) 评论(0) 推荐(0) 编辑
摘要: 1.Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common Join或Shuffle Join如果两边数据量都很大,它会进行把相同key的value合在一起,正好符合我们在sql中的join,然后再去组合,如图所示。 2.Map Join 2) 需要 阅读全文
posted @ 2019-01-15 10:05 wqbin 阅读(6829) 评论(0) 推荐(2) 编辑
摘要: 1. 多表join优化代码结构: select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查 阅读全文
posted @ 2019-01-14 22:32 wqbin 阅读(2273) 评论(0) 推荐(0) 编辑