2019年1月18日
hive的事物性 transaction manager
摘要： update 和 delete都属于事物操作。 hive的行级修改 需要开启事物。 阅读全文
posted @ 2019-01-18 22:38 wqbin 阅读(1739) 评论(0) 推荐(0)
union不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limitClause
摘要： union all union 相同点 是 相当于上下拼接 上下两个拼接表必须字段保持一致 不同 union有去重效果，速度会更慢。 union all的子句里不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limit 阅读全文
posted @ 2019-01-18 21:52 wqbin 阅读(2462) 评论(0) 推荐(0)
2019年1月15日
hive日期函数-广发实战（三）
摘要： 近一月客户新增常规里程数与额度比即上个月 第一天（包含）到上个月最后一天（包含） 字段是batch_date==>格式是 yyyymmdd 阅读全文
posted @ 2019-01-15 15:14 wqbin 阅读(404) 评论(0) 推荐(0)
hive函数大全
摘要： 摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu 阅读全文
posted @ 2019-01-15 14:57 wqbin 阅读(18133) 评论(1) 推荐(2)
hive日期函数-Demo（二）
摘要： 需求:某资产近一个月的资产值 比如：今天是2018年2月28日，近一个月若是按照自然月来算，那么是2018年2月1日至2018年2月28日。最终需要的日期格式为：yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期 阅读全文
posted @ 2019-01-15 11:48 wqbin 阅读(7736) 评论(0) 推荐(1)
hive日期函数-原生函数（二）
摘要： 1. from_unixtime 日期函数UNIX时间戳转日期函数: from_unixtime 语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定 阅读全文
posted @ 2019-01-15 10:43 wqbin 阅读(13682) 评论(0) 推荐(0)
hive日期函数-杂谈（一）
摘要： 来到广发返现由于历史遗留问题很多时间格式十分杂乱 我将总结一下时间日期的事情 1.hive原生时间函数的功能 2.一些基本业务时间范围的指标的sql案例 3.自定义udf函数让后来人更方便 阅读全文
posted @ 2019-01-15 10:34 wqbin 阅读(243) 评论(0) 推荐(0)
hive三种调用方式
摘要： 一、hive -e ‘sql语句’ （shell命令） 适合比较短的sql语句调用，优点是可以直接在shell中调用静音模式 -S 在执行HiveQL过程中，不在显示器输出MR的执行过程hive -S -e ‘sql语句’ > test.txt 将执行结果直接输入到本地文件 二、hive -f sq 阅读全文
posted @ 2019-01-15 10:12 wqbin 阅读(3007) 评论(0) 推荐(0)
Hive的三种Join方式
摘要： 1.Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common Join或Shuffle Join如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 2.Map Join 2） 需要 阅读全文
posted @ 2019-01-15 10:05 wqbin 阅读(7228) 评论(0) 推荐(2)
2019年1月14日
hive优化方式总结
摘要： 1. 多表join优化代码结构： select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查 阅读全文
posted @ 2019-01-14 22:32 wqbin 阅读(2319) 评论(0) 推荐(0)