会员
众包
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
少年阿斌
人类被赋予了一种工作,那就是精神的成长。
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
50
51
52
53
54
55
56
57
58
59
下一页
2019年1月18日
hive的事物性 transaction manager
摘要: update 和 delete都属于事物操作。 hive的行级修改 需要开启事物。
阅读全文
posted @ 2019-01-18 22:38 wqbin
阅读(1688)
评论(0)
推荐(0)
编辑
union不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limitClause
摘要: union all union 相同点 是 相当于上下拼接 上下两个拼接表必须字段保持一致 不同 union有去重效果,速度会更慢。 union all的子句里不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limit
阅读全文
posted @ 2019-01-18 21:52 wqbin
阅读(2403)
评论(0)
推荐(0)
编辑
2019年1月15日
hive日期函数-广发实战(三)
摘要: 近一月客户新增常规里程数与额度比即上个月 第一天(包含)到上个月最后一天(包含) 字段是batch_date==>格式是 yyyymmdd
阅读全文
posted @ 2019-01-15 15:14 wqbin
阅读(391)
评论(0)
推荐(0)
编辑
hive函数大全
摘要: 摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu
阅读全文
posted @ 2019-01-15 14:57 wqbin
阅读(17983)
评论(1)
推荐(2)
编辑
hive日期函数-Demo(二)
摘要: 需求:某资产近一个月的资产值 比如:今天是2018年2月28日,近一个月若是按照自然月来算,那么是2018年2月1日至2018年2月28日。最终需要的日期格式为:yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期
阅读全文
posted @ 2019-01-15 11:48 wqbin
阅读(7614)
评论(0)
推荐(1)
编辑
hive日期函数-原生函数(二)
摘要: 1. from_unixtime 日期函数UNIX时间戳转日期函数: from_unixtime 语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定
阅读全文
posted @ 2019-01-15 10:43 wqbin
阅读(13552)
评论(0)
推荐(0)
编辑
hive日期函数-杂谈(一)
摘要: 来到广发返现由于历史遗留问题很多时间格式十分杂乱 我将总结一下时间日期的事情 1.hive原生时间函数的功能 2.一些基本业务时间范围的指标的sql案例 3.自定义udf函数让后来人更方便
阅读全文
posted @ 2019-01-15 10:34 wqbin
阅读(237)
评论(0)
推荐(0)
编辑
hive三种调用方式
摘要: 一、hive -e ‘sql语句’ (shell命令) 适合比较短的sql语句调用,优点是可以直接在shell中调用静音模式 -S 在执行HiveQL过程中,不在显示器输出MR的执行过程hive -S -e ‘sql语句’ > test.txt 将执行结果直接输入到本地文件 二、hive -f sq
阅读全文
posted @ 2019-01-15 10:12 wqbin
阅读(2966)
评论(0)
推荐(0)
编辑
Hive的三种Join方式
摘要: 1.Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common Join或Shuffle Join如果两边数据量都很大,它会进行把相同key的value合在一起,正好符合我们在sql中的join,然后再去组合,如图所示。 2.Map Join 2) 需要
阅读全文
posted @ 2019-01-15 10:05 wqbin
阅读(6829)
评论(0)
推荐(2)
编辑
2019年1月14日
hive优化方式总结
摘要: 1. 多表join优化代码结构: select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查
阅读全文
posted @ 2019-01-14 22:32 wqbin
阅读(2273)
评论(0)
推荐(0)
编辑
上一页
1
···
50
51
52
53
54
55
56
57
58
59
下一页
公告