09 Hive安装与配置

一、hive下载

1.下载并解压hive源程序,重命名,权限

hive下载官网:http://www.apache.org/dyn/closer.cgi/hive/

sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local   #解压到/usr/local中

cd /usr/local

sudo mv apache-hive-1.2.1-bin hive   #将文件夹名改为hive

sudo chown -R hadoop:hadoop hive   #修改文件权限

 

2.配置环境变量

编辑~/.bashrc配置,将hive命令加入到环境变量中去,配置完成后使其生效

 

 

 

查看路径;修改文件夹权限;查看版本

 

 

 

 

 3.修改配置文件

 1 <?xml version="1.0" encoding="UTF-8" standalone="no"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 <configuration>
 4   <property>
 5     <name>javax.jdo.option.ConnectionURL</name>
 6     <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
 7     <description>JDBC connect string for a JDBC metastore</description>
 8   </property>
 9   <property>
10     <name>javax.jdo.option.ConnectionDriverName</name>
11     <value>com.mysql.jdbc.Driver</value>
12     <description>Driver class name for a JDBC metastore</description>
13   </property>
14   <property>
15     <name>javax.jdo.option.ConnectionUserName</name>
16     <value>hive</value>
17     <description>username to use against metastore database</description>
18   </property>
19   <property>
20     <name>javax.jdo.option.ConnectionPassword</name>
21     <value>hive</value>
22     <description>password to use against metastore database</description>
23   </property>
24 </configuration>

二、安装MySQL并配置MySQLl驱动

  1. 查看MySQL版本和jar包版本

 

 

 

 2.选择新版JAR包:

1)将jar包拷贝到/usr/local/hive/lib目录下

2)删除mysql-connector-java-5.1.40-bin.jar

 

 

  3)启动hadoop集进入hive

 

4)在mysql新建hive数据库 show databases;

 


5)配置mysql允许hive接入  show grants for 'hive'@'localhost';


启停启动Hadoop--启动Hive--退出Hive--停止Hadoop

 

 

 

 

 

 


二、Hive操作

  1. hive创建与查看数据库

 

 

 

  2.mysql查看hive元数据表DBS

 

 

 

3.hive创建与查看表


  4.mysql查看hive元数据表TBLS

 

 

 

  5.hdfs查看表文件位置

 

 

 

  6.hive删除表

 

 

 


  7.mysql查看hive元数据表TBLS

 

 

 

 

 

 

 

 

  8.hive删除数据库

 

 

 


  9.mysql查看hive元数据表DBS 

 

 

 


  10.hdfs查看表文件夹变化

 

 

 

 

三、hive进行词频统计

  1. 准备txt文件

    

 

  2.启动hadoop,启动hive

 

 

   3.创建并查看文本表  create table

 

 

 

   4.导入文件的数据到文本表中 load data local inpat

 

 

   5.分割文本 split

 

   6.行转列explode

 

 7.统计词频group by

 

 

 

  8.准备txt文件

 

 

  9.上传文件至hdfs

 

 

  10.从hdfs导入文件内容到表wctext, 并查看hdfs源文件,hfds数据库文件

  -

 

 

 

 

 

  11.统计词频

  12.词频统计结果存到数据表里,并查看表和文件

 

 

  13.本地调用本地hql文件进行词频统计,将结果保存为本地文件

 

 

 

 

 

 

 

 

 

四、大作业

 

posted @ 2021-12-13 20:21  a咕噜咕噜  阅读(35)  评论(0编辑  收藏  举报