Hive 函数 + Shell编程的具体实践与运用

Hive Shell参数

1.Hive命令行

(1). 命令：hive -i filename

含义：从文件初始化HQL

filename为test001.sql的内容如下

 

 

 

hive -i test001.sql命令执行结果如下

 

 

 

(2). 命令：hive -e 'sql语句'

含义：从命令行执行指定的HQL指令

具体执行示例如下：

 

 

 

(3). 命令：hive -f filename

含义：执行文件中的HQL脚本

这里的filename为test001.sql文件，文件内容如下

 

 

 

hive -f test001.sql执行结果如下

 

 

 

(4). 命令：hive -v

含义：输出执行的HQL语句到控制台

 

(5). 命令：hive -p

含义：connect to Hive Server on port number -hiveconf x=y Use this to set hive/hadoop configuration variables.

 

(6). 命令：hive -hiveconf set x=y;

含义：设置hive运行时候的参数配置信息

 

2.Hive参数配置方式

目的：设定 Hive 的参数可以优化 HQL 代码的执行效率，协助定位问题。

三种参数设定方式：

1. 配置文件

2. 命令行参数

3. 参数声明

 

配置文件

Hive 的配置文件包含：

用户自定义的配置文件：$HIVE_CONF_DIR/hive-site.xml

默认配置文件：$HIVE_CONF_DIR/hive-default.xml

 

用户自定义的配置文件会覆盖默认配置文件。

另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hive的配置会覆盖 Hadoop 的配置。

配置文件的设定对本机启动的所有 Hive 进程都有效。

 

命令行参数

启动 Hive 客户端或 Server 方式时，可以在命令行添加 -hiveconf param=value 来设定参数，例如：

hive -hiveconf hive.root.logger=INFO,console

这一设定对本次启动的 Session（对于 Server 方式启动，则是所有请求的 Sessions）有效。

 

参数声明

可以在 HQL 中使用 SET 关键字设定参数，例如：

set mapred.reduce.tasks=100;

这一设定的作用域也是Session（一次会话）级别的。

上述三种设定方式的优先级依次递增。即参数声明 > 命令行参数 > 配置文件参数

 

注意：
某些系统级的参数，例如：log4j 相关的设定，必须用参数声明或命令行参数这两种方式设定，因为那些参数的读取在 Session 建立以前已经完成了。

 

 

Hive函数

1.内置函数

(1).查看系统自带的函数

show functions;

 

 

从上图中可以看到 hive 有许多系统自带的内置函数。

 

(2).显示自带的函数的用法

# 查看abs函数的用法
desc function abs;

 

 

abs函数的含义：返回一个数的绝对值

 

(3).详细显示自带的函数的用法

# 详细显示upper函数的使用方法
desc function extended upper;

 

上图是举例说明，upper函数的功能是将字符串"Facebook"全部转换成大写"FACEBOOK"返回

 

(4).常用内置函数

# 字符串拼接函数：concat
用法：select concat('abc', 'def', 'gh');
实现效果：abcdefgh

 

 

 

# 带分隔符字符串连接函数：concat_ws
用法：select concat_ws('-','hello','world')
实现效果：hello-world

 

 

 

# 数据类型转换函数：cast
用法：select cast(1.8 as int);
实现效果：1

 

 

 

# json解析函数，用来处理json串：get_json_object
用法：select get_json_object('{"name":"tom", "age":"10"}', '$.name');
实现效果：tom

 

 

 

 

# URL解析函数：parse_url
用法：select parse_url('http://www.baidu.com/path1?key1=value1&key2=value2#Ref1', 'HOST')
实现效果：
当关键字为HOST时，获取到的值为：www.baidu.com
当关键字为PATH时，获取到的值为：/path1
当关键字为QUERY时，获取到的值为：key1=value1&key2=value2
当关键字为QUERY,key1时，获取到的值为：value1

 

 

 

 

 

2.自定义函数

当 Hive 提供的内置函数无法满足我们的业务需求时，此时就可以考虑使用用户自定义函数。

自定义函数类别分为以下三种：
(1): UDF(User-Defined-Function): 一进一出

(2): UDAF(User-Defined Aggregation Function): 聚集函数，多进一出，类似于count、max等函数

(3): UDTF(User-Defined Table-Generating Functions): 一进多出，例如lateral view explore()

 

实现UDF函数注意事项

(1): 需要继承org.apache.hadoop.hive.ql.UDF

(2): 需要实现evaluate函数，且evaluate函数支持重载

(3): UDF必须要有返回类型，可以返回null,但是返回类型不能是void;
UDF中常用Text字符串、LongWritable等类型，不推荐使用java类型;

 

UDF自定义函数开发实例

step1: 创建Maven工程

 

 

 

 

step2: 开发Java类集成UDF

 

 

 

 

step3: 项目打成jar包，上传到Hive的lib目录下

 

 

 

 

step4: Hive客户端添加打好的jar包

# 进入hive的lib目录下
cd /opt/hadoop/apache-hive-2.7.5-bin/lib

# 给jar包重命名
mv original-hiveudf-1.0-SNAPSHOT.jar udf_upper.jar

# Hive客户端添加jar包
add jar /opt/hadoop/apache-hive-2.7.5-bin/lib/udf_upper.jar

 

step5: 设置函数与我们自定义函数关联

create temporary function udf_upper as 'cn.itcast.udf.MyUDF';

 

step6: 使用自定义函数

select udf_upper('how are you?');

# 实际返回结果：实现了首字母大写的功能
How are you?

 

 

欢迎关注【无量测试之道】公众号，回复【领取资源】

Python+Unittest框架API自动化、

Python+Unittest框架API自动化、

Python+Pytest框架API自动化、

Python+Pandas+Pyecharts大数据分析、

Python+Selenium框架Web的UI自动化、

Python+Appium框架APP的UI自动化、

Python编程学习资源干货、

资源和代码 免费送啦~
文章下方有公众号二维码，可直接微信扫一扫关注即可。

备注：我的个人公众号已正式开通，致力于IT互联网技术的分享。

包含：数据分析、大数据、机器学习、测试开发、API接口自动化、测试运维、UI自动化、性能测试、代码检测、编程技术等。

微信搜索公众号：“无量测试之道”，或扫描下方二维码：

 

添加关注，让我们一起共同成长！