hive

hive

1.数据仓库

数据仓库的概念：DW  DWH   data warehouse，将传统的数据进行集成，进行分析和决策的作用。

仓库：存储物品的地方。作为仓库而言，既不会生产物品，也不会消耗物品。

数据仓库：既不会生产数据，也不会删除数据，主要存储的是历史数据，用于分析和决策使用。

数据仓库的特征：

（1）面向主题：将传统的数据库进行整合，面向综合的分析决策使用。

（2）集成性：将企业所有的数据库整合到一起，进行分许。

（3）非易失性：数据仓库中存储的是历史数据，不会轻易的删除掉

（3）时变性：数据会随时间发展，需要不断的更新历史数据

数据仓库与数据库的而区别：

OLTP:On-LineTransaction Processing 在线联机事务处理，对数据的增、删、改的支持，数据库的特点

OLAP:On-LineAnalytical Processing  在线联机分析处理，对数据不做任何的修改，只对数据进行分析。

数据仓库的分层：

一共分为三层：

1.数据源层：（ODS），数据的来源，

2.数据仓库层：将数据源进行集成，然后进行分析和决策。

			ETL (抽取，转换、加载)

3.数据应用层：以图表或报表的形式进行展现

数据仓库元数据的管理：

元数据：数据仓库中数据模型的描述，主要是描述表和数据的映射关系。

2.HIVE的基本概念

1）hive的简介：

hive：hive是hadoop的一个数据仓库工具，将结构化的数据映射为一张数据库表，hive

提供了一个类似sql的查询功能，称为HQL

hive主要用于管理元数据

在执行hql的时候，本质是将sql语句翻译成mapreduce，由mapreduce执行并返回结果

hive是一个客户端

2)使用hive的原因：

主要原因：程序员都会sql

3）hive的架构：

hive是一个客户端

hive的用户接口：通过接口连接hive，执行查询操作。

解析器：

	编译器：hql  ——>mapreduce

	优化器：hql   select  * from  where    group by  order by  将hql进行优化

	执行器：hdl -->mapreduce,执行并返回结果。

元数据：数据和表的映射	

4）hive与hadoop的关系

	hive ：数据存储   ——>HDFS

	hive :sql的执行  ----》mapreduce



5）hive的安装部署

6）hive的交互方式

	1）bin/hive的方式

		首先第一次使用hive的时候，要创建元数据信息，所以要先使用bin/hive先连接一次

	2）通过hive jdbc的方式连接

		注意：使用此方式，之前一定要先生成元数据。bin/hive

		首先，启动服务



		bin/hive  --service  hiveserver2

		后台启动服务：

			nohup bin/hive --service hiveserver2  2>&1   &

		其次，使用beeline的方式连接

		bin/beeline

		beeline> !connect jdbc:hive2://node03.hadoop.com:10000

		

	3）外部执行命令

		bin/hive  -e  "use myhive;select * from test;"   --执行一个sql语句

		bin/hive  -f   hive.sql   --执行一个文件

3.hive的基本操作

3.1 数据库的操作

1)创建数据库和表

	create database if not exists  myhive;

2)查看数据库信息

	desc database（extended）  myhive2;

3)删除数据库

	drop databse myhive2；

	如果库下面有表，数据库不能直接删除，需要级联删除

drop  database  myhive  cascade;	

3.2表的操作

	CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name      --用于创建一张表

	 [(col_name data_type [COMMENT col_comment], ...)]       --字段名称和字段类型

		 [COMMENT table_comment]  							--表的注释

	 [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]    --分区  --分文件夹

	 [CLUSTERED BY (col_name, col_name, ...) 							--分桶   --分文件

	  [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]      --分文件，指定几个文件

	  [ROW FORMAT row_format] 							-- 数据的分割说明  \001

	  [STORED AS file_format] 								--指定存储格式				

	  [LOCATION hdfs_path]                                                              --表数据的保存位置

 	1）管理表   内部表

		由hive管理的表，当删除表的时候，数据会一起删除

		create table stu（id int，name string）；

	create  table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t'

stored as textfile location '/user/stu2';

	2）外部表  加上关键字external

		表数据不仅仅自己使用，其他人也会使用，所以删除的时候只删除表信息，不删除数据。

	create   external table teacher  (t_id string,t_name string) row format delimited fields terminated by '\t';	

		本地加载数据

	load  data local inpath '/export/servers/hivedatas/student.csv' into table student;	

	如果不写local  会从hdfs上加载数据

	3）分区表

		分区表: 分的是文件夹，原则是分而治之，数据的查询分析检索的的效率会更高。	

		创建一个分区表：		create table score(s_id string,c_id string, s_score int) partitioned by  (month string) row format delimited fields terminated by '\t';	

		导入数据的时候，一定要指定分区，否则导入不进去。

	load data local inpath '/export/servers/hivedatas/score.csv' into table score partition  (month='201806');	



	综合练习：

	需求描述：现在有一个文件score.csv文件，存放在集群的这个目录下/scoredatas/month=201806，这个文件每天都会生成，存放到对应的日期文件夹下面去，文件别人也需要公用，不能移动。需求，创建hive对应的表，并将数据加载到表中，进行数据统计分析，且删除表之后，数据不能删除

	1.外部表

	2.分区表

	3.指定目录

	创建表：

create external table score4(s_id string, c_id  string,s_score int) partitioned by (month string) row format delimited fields  terminated by '\t' location '/scoredatas';

	创建表之后，要进行修复，修复的是数据和表之间的映射关系

msck   repair   table  score4;	

	4）分桶

		分桶：分的是文件。

		开启hive的桶表功能     set hive.enforce.bucketing=true;

		设置reduce的个数        set mapreduce.job.reduces=3;

		创建通表

		create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by '\t';

		分桶表不能直接导入数据，只能通过中间表转换的方式 insert overwrite 的方式加载数据到分桶表。

		通过insert  overwrite给桶表中加载数据

		insert overwrite table course select * from course_common cluster by(c_id);

		

	5）数据的加载

	通过load方式加载数据

	load data local inpath '/export/servers/hivedatas/score.csv' overwrite into table score partition(month='201806');

	通过insert overwrite查询的方式

	insert overwrite  table score4 partition(month = '201806') select s_id,c_id,s_score from score;

	注意：overwrite关键字一定要有



	score   s_id   c_id  s_score  --有数据  --一次的将数据分别将表导入的两个子表中

	score_first  s_id   c_id

	score_second c_id  s_score



from    score insert overwrite   table score_first  partition(month='201806') select s_id,c_id 

  				insert overwrite table score_second partition(month ='201806')  select c_id,s_score;	

	3.3hive的查询

	SELECT [ALL | DISTINCT] select_expr, select_expr, ... 

	FROM table_reference

	[WHERE where_condition] 

	[GROUP BY col_list [HAVING condition]] 

	[CLUSTER BY col_list 

	  | DISTRIBUTE BY col_list 

	] 

	[LIMIT number]

	

	说明：

	order by：对全局进行排序，前提是只能有一个reduce的情况下才能完成排序。

	sort  by：局部排序

	distribute by：根据指定的字段分发到指定的reduce中进行查询。

	Cluster by  =  distribute by  + sort by   前提是  distribute by 和 sort by 按照同样的一个字段进行分区排序查询

	

	分组查询：

	group  by	将数据进行聚合查询

	分组中查询的字段只能包含分组的字段和聚合的字段。

4.hive 的shell参数

hive配置参数的方式

	1）配置文件：hive-site.xml

	2)hive命令行的方式bin/hive -hiveconf   hive.root.logger=INFO,console：

	3）参数声明：set mapred.reduce.tasks=100;

	参数声明  >   命令行参数   >  配置文件参数（hive）

5.hive的函数

1）查看系统自带的函数

hive> show functions;

2）显示自带的函数的用法

hive> desc function upper;

3）详细显示自带的函数的用法

hive> desc function extended upper;

用户自定义函数：

1）UDF：用户自定义函数  一进一出

2）UDAF:聚合函数，  多进一出   max（）

3）UDTF:表级函数，一进多出 lateral view  explore() 

6.hive数据的压缩

7.hive的存储格式

8.hive的存储和压缩结合

9.hive的调优

10.hive练习