Hive笔记

Hive学习笔记

安装部分（略）：

http://dblab.xmu.edu.cn/blog/2630-2/

一、Hive基础

1.1 内部是什么

HIVE二进制分支版本核心包括3个部分，

$HIVE_HOME/lib  ：JAR库

$HIVE_HOME/bin ：执行的各种可执行文件

$HIVE_HOME/conf ：配置文件

其他包括：metastoreservice（元数据服务）、Thrift服务（远程访问）、HWI（网页界面）

1.2 文件配置

通常情况下，会有二个文件需要配置，一个是hive-site.xml、另外一个是hive-default.xml。

step1：hive-default.xml文件在$HIVE_HOME/conf目录下会有典型的模板，只需重命名即可：

cd $HIVE_HOME2 
mv hive-default.xml.template hive-default.xml

step2：使用VIM创建hive-site.xml文件，如没有：

vim hive-site.xml

编辑文件

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
    <description>元数据配置库，这里用的是本地MYSQL库，可以选择其他配置方式，参见“Hive metastore三种配置方式” </description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>元数据驱动</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
   <description>元数据库的用户名</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>1qaz2wsx3edc</value>
    <description>元数据库的密码</description>
  </property>
  <property>
    <name>hive.metastore.thrift.bind.host</name>
    <value>localhost</value>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <property>
    <name>datanucleus.metadata.validate</name>
    <value>false</value>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.metastore.local</name>
    <value>false</value>
    <description>元数据库地址，非本地，这里用了MYSQL而非自带的Derby库
    </description>
  </property>

</configuration>

1.3 CLI命令

如用户执行如下命令，可以查看简明说明的选项列表；

hadoop@master:/usr/local/hive-3.1.2$ bin/hive --help

　　Usage ./hive <parameters> --service serviceName <service parameters>
　　Service List: beeline cleardanglingscratchdir cli fixacidkeyindex help hiveburninclient hiveserver2 hplsql jar lineage llapdump llap llapstatus metastore metatool orcfiledump rcfilecat schemaTool strictmanagedmigration tokentool version
　　Parameters parsed:
　　--auxpath : Auxiliary jars
　　--config : Hive configuration directory
　　--service : Starts specific service/component. cli is default
　　Parameters used:
　　HADOOP_HOME or HADOOP_PREFIX : Hadoop install directory
　　HIVE_OPT : Hive options
　　For help on a particular service:
　　./hive --service serviceName --help
　　Debug help: ./hive --debug --help

命令行执行界面：

使用CLI选项：

hadoop@master:/usr/local/hive-3.1.2$ bin/hive --help --service cli

　　Hive Session ID = 89c8b7b1-4068-4ce0-a6fb-1e19be34fd0d
　　usage: hive
　　-d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B
　　--database <databasename> Specify the database to use
　　-e <quoted-query-string> SQL from command line
　　-f <filename> SQL from files
　　-H,--help Print help information
　　--hiveconf <property=value> Use value for given property
　　--hivevar <key=value> Variable substitution to apply to Hive commands. e.g. --hivevar A=B
　　-i <filename> Initialization SQL file
　　-S,--silent Silent mode in interactive shell
　　-v,--verbose Verbose mode (echo executed SQL to the console)

1.3.1 使用CLI选项，设置变量：

方法一：使用命令定义变量
hadoop@master:/usr/local/hive-3.1.2$ hive --define foo=bar
hive> set hivevar:foo;
hivevar:foo=bar
方法二：使用CLI方式定义变量
hive> set hivevar:foo=bar2;
hive> set foo;
foo=bar2

创建表

hive> create table toss1(i int,${hivevar:foo} string);
OK
Time taken: 1.998 seconds

hive> desc toss1;
OK
i                       int                                         
bar2                    string                                      
Time taken: 0.508 seconds, Fetched: 2 row(s)

1.3.2 使用CLI执行命令，可以使用带参的-S开启静默模式：

hadoop@master:/usr/local/hive-3.1.2$ hive -e "select * from tablename limit 3“

OK
name1 10
name2 20
name2 30
Time taken: 4.663 seconds

hadoop@master:/usr/local/hive-3.1.2$ hive -S -e "select * from tablename limit 3“

name1 10
name2 20
name2 30

带参的-S开启静默模式：

hadoop@master:/usr/local/hive-3.1.2$ hive -S -e "select * from tablename limit 3“ > /tmp/myquery

cat /tmp/myquery

hadoop@master:/usr/local/hive-3.1.2$ hive -S -e "set" |　grep warehouse
6 hive.metastore.warehouse.dir=/usr/local/hive-3.1.2

 其他命令模式：

执行文件

##执行查询文件
hadoop@master:/usr/local/hive-3.1.2$ hive -f /usr/local/queries.sql

##hive下导入数据文件
hadoop@master:/usr/local/hive-3.1.2$ hive -e "LOAD DATA LOCAL INPATH" '/usr/local' into table src ;

##执行SHELL命令
hive > ! echo "what up !" ;

##执行dfs命令
hive > dfs -ls / ;

查看历史执行命令可用 $HOME/.hivehistory文件中

二、数据定义

Hive中数据库的概念本质上仅仅是表的一个目录或命名空间。

hive> desc database finance;
OK
finance        hdfs://master:9000/user/hive/warehouse/finance.db    hadoop    USER    
Time taken: 0.053 seconds, Fetched: 1 row(s)

hdfs：//master:9000指定对应的服务器名和端口号

当DROP DATABASE时加上关键字CASCADE，这样可以使HIVE自行先删除数据库中的表：

hive> drop database if exists hive cascade;

查看表信息：

hive> desc extended employees;
OK
name                    string                                      
salary                  float                                       
subordinates            array<string>                               
deductions              map<string,float>                           
address                 struct<street:string,city:string,state:string,zip:int>                        
          
Detailed Table Information    
　　Table(tableName:employees, dbName:finance, owner:hadoop, createTime:1605448633, lastAccessTime:0, retention:0, sd:StorageDescriptor(
　　cols:[
　　FieldSchema(name:name, type:string, comment:null), 
　　FieldSchema(name:salary, type:float, comment:null), 
　　FieldSchema(name:subordinates, type:array<string>, comment:null), 
　　FieldSchema(name:deductions, type:map<string,float>, comment:null), 
　　FieldSchema(name:address, type:struct<street:string,city:string,state:string,zip:int>, comment:null)], 
　　location:hdfs://master:9000/user/hive/warehouse/finance.db/employees, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=1}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[], parameters:{totalSize=0, numRows=0, rawDataSize=0, COLUMN_STATS_ACCURATE={\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"address\":\"true\",\"deductions\":\"true\",\"name\":\"true\",\"salary\":\"true\",\"subordinates\":\"true\"}}, numFiles=0, transient_lastDdlTime=1605448633, bucketing_version=2, comment=descritiption of the table}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE, rewriteEnabled:false, catName:hive, ownerType:USER)    
Time taken: 0.149 seconds, Fetched: 7 row(s)

创建分区表

hive> create table student
    > (
    > name string,
    > class string,
    > score float
    > )
    > partitioned by (type string) ;
OK
Time taken: 0.101 seconds

插入数据：

hive> insert into student select 'zhangsan','chinese',99,'zh';

查看分区

hive> show partitoins student;

 

引用材料：

Hive3.1.2安装指南 ： http://dblab.xmu.edu.cn/blog/2440-2/

Hive metastore三种配置方式 ：https://blog.csdn.net/reesun/article/details/8556078