随笔分类 -  Hive

Hive 严格模式与非严格模式
摘要：1. hive严格模式 hive提供了一个严格模式，可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。通过设置hive.mapred.mode的值为strict，可以禁止3中类型的查询。 (1) 查询一个分区表时如果在一个分区表执行hive，除非where语句中 阅读全文
posted @ 2019-04-13 12:26 Transkai 阅读(4102) 评论(0) 推荐(0)
Hive 特殊分隔符处理
摘要：HIVE特殊分隔符处理 Hive对文件中的分隔符默认情况下只支持单字节分隔符，,默认单字符是\001。当然你也可以在创建表格时指定数据的分割符号。但是如果数据文件中的分隔符是多字符的，如下图： 01||zhangsan 02||lisi 03||wangwu 补充：hive读取数据的机制 1、首先用 阅读全文
posted @ 2019-03-30 18:59 Transkai 阅读(2844) 评论(0) 推荐(0)
Hive 数据类型
摘要：1. hive的数据类型Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型2. hive基本数据类型基础数据类型包括： TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DE 阅读全文
posted @ 2019-03-28 00:23 Transkai 阅读(2351) 评论(0) 推荐(0)
Hive DDL及DML操作
摘要：一.修改表 增加/删除分区 语法结构 ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ... part 阅读全文
posted @ 2019-03-24 21:43 Transkai 阅读(336) 评论(0) 推荐(0)
Hive HiveServer2+beeline+jdbc客户端访问操作
摘要：HiveServer 查看/home/hadoop/bigdatasoftware/apache-hive-0.13.1-bin/bin目录文件，其中有hiveserver2 启动hiveserver2，如下图： 打开多一个终端，查看进程 有RunJar进程说明hiveserver正在运行； bee 阅读全文
posted @ 2019-03-18 13:21 Transkai 阅读(875) 评论(0) 推荐(0)
Hive函数以及自定义函数讲解（UDF）
摘要：Hive函数介绍HQL内嵌函数只有195个函数(包括操作符，使用命令show functions查看)，基本能够胜任基本的hive开发，但是当有较为复杂的需求的时候，可能需要进行定制的HQL函数开发。HQL支持三种方式来进行功能的扩展(只支持使用java编写实现自定义函数)，分别是：UDF(User 阅读全文
posted @ 2019-03-16 14:24 Transkai 阅读(2397) 评论(0) 推荐(0)
Hive Shell 命令详解
摘要：Hive服务介绍 Hive默认提供的cli(shell)服务，如果需要启动其他服务，那么需要service参数来启动其他服务，比如thrift服务、metastore服务等。可以通过命令hive --service help查看hive支持的命令。 Hive Shell命令介绍Hive的shell命 阅读全文
posted @ 2019-03-16 01:03 Transkai 阅读(6396) 评论(0) 推荐(0)
Hive介绍和Hive环境搭建
摘要：一.Hive介绍 Hive包含用户接口、元数据库、解析器和数据仓库等组件组成，其中用户接口包含shell客户端、JDBC、ODBC、Web接口等。元数据库主要是指定义在hive中的表结构信息，一般保存到关系型数据库中，默认是derby，一般使用mysql进行保存。解析器主要功能是将HQL语句转换为m 阅读全文
posted @ 2019-03-16 00:34 Transkai 阅读(1246) 评论(0) 推荐(0)