hive中的重要的函数

函数分类

UDF函数：一进一出，length
UDAF函数：多进一出，聚合函数：sum、count
UDTF函数：一进多出，explode、split

查看函数用法

查看系统自带的函数：
show functions;

显示自带的函数的用法：
desc functions 函数名;

详细显示自带的函数的用法：
desc function extended 函数名;

重要函数

# 一对一：parse_url
HOST：获取url中的主机名
PROTOCOL：获取url中的请求协议
PATH：获取url的请求资源路径
QUERY：获取请求参数

hive (test)> select parse_url("http://www.baidu.com/login?username=zs&password=123456","HOST")
           > ;
OK
_c0
www.baidu.com
Time taken: 0.712 seconds, Fetched: 1 row(s)


hive (test)> select parse_url("http://www.baidu.com/login?username=zs&password=123456","PATH");
OK
_c0
/login
Time taken: 0.582 seconds, Fetched: 1 row(s)


hive (test)> select parse_url("http://www.baidu.com/login?username=zs&password=123456","QUERY");
OK
_c0
username=zs&password=123456
Time taken: 0.087 seconds, Fetched: 1 row(s)


hive (test)> select parse_url("http://www.baidu.com/login?username=zs&password=123456","QUERY","username");
OK
_c0
zs
Time taken: 0.584 seconds, Fetched: 1 row(s)


hive (test)> select parse_url("http://www.baidu.com/login?username=zs&password=123456","PROTOCOL");
OK
_c0
http
Time taken: 0.122 seconds, Fetched: 1 row(s)


# 一对多：parse_url_tuple
hive (test)> select parse_url_tuple("http://www.baidu.com/login?username=zs&password=123456", "HOST", "QUERY", "PROTOCOL", "PATH", "QUERY:username") as (host, query_allcontent, xieyi, path, query_username);
OK
host	query_allcontent	xieyi	path	query_username
www.baidu.com	username=zs&password=123456	http	/login	zs
Time taken: 0.703 seconds, Fetched: 1 row(s)