随笔分类 -  Hive

Hive
摘要:一、Hadoop 框架计算特性 1、数据量大不是问题,数据倾斜是个问题 2、jobs 数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次 汇总,产生十几个 jobs,耗时很长。原因是 map reduce 作业初始化的时间是比较长的 3、sum,count,max,min 等 阅读全文
posted @ 2019-05-24 11:17 冷暖自知hk 阅读(497) 评论(0) 推荐(0) 编辑
摘要:一、Hive 执行过程概述 1、概述 (1) Hive 将 HQL 转换成一组操作符(Operator),比如 GroupByOperator, JoinOperator 等 (2)操作符 Operator 是 Hive 的最小处理单元 (3)每个操作符代表一个 HDFS 操作或者 MapReduc 阅读全文
posted @ 2019-05-24 11:09 冷暖自知hk 阅读(217) 评论(0) 推荐(0) 编辑
摘要:1、什么是数据倾斜? 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点 2、Hadoop 框架的特性 A、不怕数据大,怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低,如子查询比较多 C、 sum,count,max,min 等聚集函数,通常不会有数据倾斜问题 3、主要表现 任务 阅读全文
posted @ 2019-05-24 11:08 冷暖自知hk 阅读(507) 评论(0) 推荐(0) 编辑
摘要:一、Hive的命令行 1、Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular c 阅读全文
posted @ 2019-05-24 11:06 冷暖自知hk 阅读(187) 评论(0) 推荐(0) 编辑
摘要:概述 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中,不能累加,而且需要根据不同维度上钻和下钻的指标统计,比如,分小时、天、月的UV数。 数据准备 数据格式 创建表 玩一玩GROUPING SETS和GROUPING__ID 说明 在一 阅读全文
posted @ 2019-05-24 11:02 冷暖自知hk 阅读(492) 评论(0) 推荐(0) 编辑
摘要:数据准备 数据格式 cookie4.txt 创建表 玩一玩LAG 说明 LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名,第二个参数为往上第n行(可选,默认为1),第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL) 查询语句 查询结果 阅读全文
posted @ 2019-05-24 10:59 冷暖自知hk 阅读(493) 评论(0) 推荐(0) 编辑
摘要:数据准备 数据格式 cookie3.txt d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 创建表 use cookie; drop table if exists cookie3; create table 阅读全文
posted @ 2019-05-24 10:56 冷暖自知hk 阅读(626) 评论(0) 推荐(0) 编辑
摘要:概述 本文中介绍前几个序列函数,NTILE,ROW_NUMBER,RANK,DENSE_RANK,下面会一一解释各自的用途。 注意: 序列函数不支持WINDOW子句。(ROWS BETWEEN) 数据准备 数据格式 创建表 玩一玩NTILE 说明 NTILE(n),用于将分组数据按照顺序切分成n片, 阅读全文
posted @ 2019-05-24 10:50 冷暖自知hk 阅读(316) 评论(0) 推荐(0) 编辑
摘要:数据准备 数据格式 创建数据库及表 玩一玩SUM 查询语句 查询结果 说明 如果不指定ROWS BETWEEN,默认为从起点到当前行;如果不指定ORDER BY,则将分组内所有值累加;关键是理解ROWS BETWEEN含义,也叫做WINDOW子句:PRECEDING:往前FOLLOWING:往后CU 阅读全文
posted @ 2019-05-24 10:48 冷暖自知hk 阅读(1579) 评论(0) 推荐(0) 编辑
摘要:案例说明 现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072, 共有6040条数据对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释: 阅读全文
posted @ 2019-05-24 10:44 冷暖自知hk 阅读(639) 评论(0) 推荐(0) 编辑
摘要:一、求单月访问次数和总访问次数 1、数据说明 数据字段说明 数据格式 2、数据准备 (1)创建表 (2)导入数据 (3)验证数据 3、结果需求 现要求出:每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数,结果数据格式如下 4、需求分析 此结果需要根据用户+月份进行分组 (1)先求出当 阅读全文
posted @ 2019-05-24 10:38 冷暖自知hk 阅读(3020) 评论(0) 推荐(0) 编辑
摘要:一、负责数据类型 1、array 现有数据如下: 1 huangbo guangzhou,xianggang,shenzhen a1:30,a2:20,a3:100 beijing,112233,13522334455,5002 xuzheng xianggang b2:50,b3:40 tianj 阅读全文
posted @ 2019-05-24 10:34 冷暖自知hk 阅读(311) 评论(0) 推荐(0) 编辑
摘要:数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT value of a. 返回对a四舍五入的BIGINT值 DOUBLE round(DOUBLE a, IN 阅读全文
posted @ 2019-05-24 10:30 冷暖自知hk 阅读(652) 评论(0) 推荐(0) 编辑
摘要:Hive注释中文乱码 创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码 create external table movie( userID int comment '用户ID', movieID int comment '电影ID', rating int co 阅读全文
posted @ 2019-05-24 10:23 冷暖自知hk 阅读(553) 评论(0) 推荐(0) 编辑
摘要:库操作 1、创建库 语法结构 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] //关于数据块的描述 [LOCATION hdfs_path] //指定数据库在HDFS上的存储位置 [W 阅读全文
posted @ 2019-05-24 10:22 冷暖自知hk 阅读(460) 评论(0) 推荐(0) 编辑
摘要:一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 类型描述示例 boolean true/false TRUE tinyint 1字节的有符号整数 -128~127 1Y smallint 2个字节的有符号整数,-32768~32767 1S int 4个字节的带符号整数 阅读全文
posted @ 2019-05-24 10:16 冷暖自知hk 阅读(739) 评论(0) 推荐(0) 编辑
摘要:一、CLI连接 一、CLI连接 进入到 bin 目录下,直接输入命令: [hadoop@hadoop3 ~]$ hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home 阅读全文
posted @ 2019-05-24 10:10 冷暖自知hk 编辑