随笔分类 -  Hive

Hive 自定义函数 UDF UDAF UDTF
摘要：1、UDF：用户定义（普通）函数，只对单行数值产生作用； 继承UDF类，添加方法 evaluate() 2、UDAF：User- Defined Aggregation Funcation；用户定义聚合函数，可对多行数据产生作用；等同与SQL中常用的SUM()，AVG()，也是聚合函数； 聚合函数使 阅读全文
posted @ 2017-07-05 08:48 mzzcy 阅读(13873) 评论(0) 推荐(0)
Hive JOIN的基本操作 及 内部实现
摘要：1、HIVE基本操作： [一起学Hive]之十一-Hive中Join的类型和用法 注：HIve不支持非等值连接； 什么是等值连接： 2、HIVE JOIN 内部原理： Hive中Join的原理和机制 Hive的三种Join方式 关于SMB： Hive 基础之：分区、桶、Sort Merge Buck 阅读全文
posted @ 2017-07-04 01:40 mzzcy 阅读(422) 评论(0) 推荐(0)
Hive中的一些点
摘要：hive严格模式 Hive中Order by和Sort by的区别是什么? hive中order by,sort by, distribute by, cluster by作用以及用法 Hadoop Hive概念学习系列之hive里的索引（十三) Hive 基础之：分区、桶、Sort Merge B 阅读全文
posted @ 2017-06-30 01:54 mzzcy 阅读(231) 评论(0) 推荐(0)
Hive两种访问方式：HiveServer2 和 Hive Client
摘要：老版HiveClient： 要求比较多，需要Hive和Hadoop的jar包，各配置环境。 HiveServer2： 使得与YARN和HDFS的连接从Client中独立出来，不需要每个Client都去配置这些连接信息。 使用Beeline只作为输入口，最终会把语句扔到HiveServer2端来作解析 阅读全文
posted @ 2017-06-28 01:13 mzzcy 阅读(4993) 评论(0) 推荐(0)
Hive Metastore
摘要：metastore：实际保存表信息的地方。 包括： 数据库，表的基本信息；权限信息；存储格式信息； 各种属性信息； 权限信息； 分区，列信息； metastore server：metastaore的入口，使用Thrift协议可以当作通用的一个接口，支持多种语言。 metasotre databas 阅读全文
posted @ 2017-06-28 01:09 mzzcy 阅读(595) 评论(0) 推荐(0)
Hive 特性及原理
摘要：特点：Hive是构建在hadoop之上的数据仓库。数据存储在hdfs上，数据计算用的mapreduce框架。用户无需掌握MR的编写，通过类SQL语句即可自动生成查询计划。 主要内容： 接入入口 Client CLI Beeline HiveServer2 metastore metasotre se 阅读全文
posted @ 2017-06-28 00:56 mzzcy 阅读(1263) 评论(0) 推荐(0)