2019年1月14日
hive常用日期函数-模板
摘要： 已知日期 要求日期 语句 结果 本周任意一天 本周一 select date_sub(next_day('2016-11-29','MO'),7) ; 2016-11-28 本周任意一天 上周一 select date_sub(next_day('2016-11-29','MO'),14) ; 20 阅读全文
posted @ 2019-01-14 17:52 wqbin 阅读(2334) 评论(0) 推荐(0) 编辑
查看hive的信息
摘要： 一、Hive下查看数据表信息的方法方法1：查看表的字段信息desc table_name; 方法2：查看表的字段信息及元数据存储路径desc extended table_name; 方法3：查看表的字段信息及元数据存储路径desc formatted table_name; 方法4：查看建表语句及 阅读全文
posted @ 2019-01-14 16:10 wqbin 阅读(3096) 评论(0) 推荐(0) 编辑
hivesql之 table名 with as 转储
摘要： 可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ 注：目前 oracle、sql server、hive等均支持 with as 用法，但 mysql并不支持！ 一、介绍 with as 也叫做子查询部分， 阅读全文
posted @ 2019-01-14 15:27 wqbin 阅读(3156) 评论(0) 推荐(0) 编辑
hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别
摘要： 一、CONCAT（）函数CONCAT（）函数用于将多个字符串连接成一个字符串。使用数据表Info作为示例，其中SELECT id,name FROM info LIMIT 1;的返回结果为 1、语法及使用特点：CONCAT(str1,str2,…) 返回结果为连接参数产生的字符串。如有任何一个参数为 阅读全文
posted @ 2019-01-14 14:58 wqbin 阅读(116417) 评论(0) 推荐(2) 编辑
2019年1月11日
hive数据仓库表设计之（矮宽表+高窄表）
摘要： 昨天面对某客户域做表关联的时候发现了。 有两张相同内容的主表。但是表的设计结构并不相同： （每个领域都有主表，每次往这个领域（库）添加新表的时候一般都会join 主表，从而有唯一的主键id） 这两个表提供了这个领域的主键（id）. 在这个 + + + +--+| col_name | data_ty 阅读全文
posted @ 2019-01-11 14:58 wqbin 阅读(7929) 评论(0) 推荐(0) 编辑
2019年1月10日
Hivesql中的正则
摘要： 一般在公司的字符串处理相对复杂。我又比较懒。更喜欢使用java的udf解决。之前在面试问到一个正则没有回答上来。就GG了。 SQL中的正则： 1） regexp_extract regexp_extract(str , regexp , idx) 参数解释: str是被解析的字符串或字段名 rege 阅读全文
posted @ 2019-01-10 10:26 wqbin 阅读(4954) 评论(0) 推荐(0) 编辑
2019年1月9日
每行选取不同的列组成一个新表
摘要： 今天被问到一个问题？挺简单的 把if换成case就可以实现多列取一列。 阅读全文
posted @ 2019-01-09 20:05 wqbin 阅读(317) 评论(0) 推荐(0) 编辑
解读>/dev/null 2>&1
摘要： 背景 我们经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，今天开始去解读>/dev/null 2>&1。 shell重定向介绍 就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输出到指定的位置。在交互式的程序 阅读全文
posted @ 2019-01-09 16:47 wqbin 阅读(354) 评论(0) 推荐(0) 编辑
$命令
摘要： 一.$ $n 向脚本传递参数，脚本内获取参数的格式为：$n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推……0为执行的文件名 二.$(( )) 与 $( ) 还有${ }的区别 $( ) $( ) 与 ` ` (反引号)在 bash shell 中，$( ) 与 阅读全文
posted @ 2019-01-09 15:39 wqbin 阅读(1717) 评论(0) 推荐(0) 编辑
source命令
摘要： 经常使用 source /etc/profile命令让配置文件文件生效。却不知道source命令是干嘛的？哎！ 定义： source命令也称为“点命令”，也就是一个点符号（.）,是bash的内部命令。 功能：使Shell读入指定的Shell程序文件并依次执行文件中的所有语句 source命令通常用于 阅读全文
posted @ 2019-01-09 14:15 wqbin 阅读(1204) 评论(0) 推荐(0) 编辑