+1000 - 博客园

2022年7月1日

摘要： Hive 行转列 lateral view explode create table testArray2( name string, weight array<string> )row format delimited fields terminated by '\t' COLLECTION IT 阅读全文

posted @ 2022-07-01 21:42 +1000 阅读(34) 评论(0) 推荐(0)

Hive-day11 Hive窗口函数

摘要： Hive窗口函数普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值（聚合开窗函数），也可以是排序值（排序开窗函数）。开窗函数一般就是说的是over（）函数，其窗口是由一个 OVER 子句定义的多阅读全文

posted @ 2022-07-01 21:38 +1000 阅读(53) 评论(0) 推荐(0)

Hive-day10 DQL和Hive内置函数

摘要： Hive查询语法(DQL) 全局排序 order by 会对输入做全局排序，因此在执行MapReduce任务时只有一个reducer，这会导致当输入规模较大时，需要较长的计算时间。因为所有的数据都要经过唯一的reducer，所以数据大的情况下，一个reducer的处理速度有限使用 order by 阅读全文

posted @ 2022-07-01 21:05 +1000 阅读(54) 评论(0) 推荐(0)

Hive-day09 HiveJDBC

摘要： Hive JDBC 启动hiveserver2 在使用Hive JDBC之前必须先启动客服端服务，这样用其他节点，或者idea就可以连接hive数据库，命令为： hive --service hiveserver2 & 或者 hiveserver2 & 新建maven项目并添加两个依赖 <depen 阅读全文

posted @ 2022-07-01 20:52 +1000 阅读(36) 评论(0) 推荐(0)

2022年6月30日

Hive-day08 Hive分桶

摘要： Hive分桶 2.1 业务场景数据分桶的适用场景：分区提供了一个隔离数据和优化查询的便利方式，不过并非所有的数据都可形成合理的分区，尤其是需要确定合适大小的分区划分方式不合理的数据分区划分方式可能导致有的分区数据过多，而某些分区没有什么数据的尴尬情况**（数据倾斜）** 分桶是将数据集分解为更阅读全文

posted @ 2022-06-30 16:21 +1000 阅读(136) 评论(0) 推荐(0)

Hive-day07 Hive分区

摘要： Hive分区在大数据中，最常见的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个个小的文件就会很容易了，同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天或者每小时切分成一个个小的文件，这样去操作小的文件就会容易很多了。假如现在我们公司阅读全文

posted @ 2022-06-30 08:53 +1000 阅读(87) 评论(0) 推荐(0)

2022年6月29日

Hive-day06 Hive内外部表

摘要： Hive内外部表 hive内部表默认建表的类型就是内部表 // 内部表 create table students_internal ( id bigint, name string, age int, gender string, clazz string ) ROW FORMAT DELIMI 阅读全文

posted @ 2022-06-29 20:01 +1000 阅读(68) 评论(0) 推荐(0)

2022年6月26日

Hive-day05 Hive基本操作

摘要： 2.3 Hive表操作 Hive的存储格式: Hive没有专门的数据文件格式,常见的有以下几种(加粗为常用格式）: TEXTFILE SEQUENCEFILE AVRO RCFILE ORCFILE PARQUET TextFile: TEXTFILE 即正常的文本格式，是H 阅读全文

posted @ 2022-06-26 18:56 +1000 阅读(100) 评论(0) 推荐(0)

Hive-day04 Hive基本概念

摘要： 1、Hive基本概念 1.1 Hive简介 Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。为什么使用Hive? 如果直接使阅读全文

posted @ 2022-06-26 18:48 +1000 阅读(128) 评论(0) 推荐(0)

Hive-day03 Hive安装

摘要： Hive的安装和使用我们的版本约定： JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1 一、离线安装MySQL（已阅读全文

posted @ 2022-06-26 18:09 +1000 阅读(38) 评论(0) 推荐(0)