第九次作业

一.安装Hive

1. 下载解压重命名权限

    

    

2. 配置环境变量  $HIVE_HOME

    

    

3. 修改Hive配置文件 gedit

    

    

4. 配置mysql驱动
   1. 下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls
   2. 在mysql新建hive数据库 show databases;
   3. 配置mysql允许hive接入  show grants for 'hive'@'localhost';
5. 启停
   1. 启动Hadoop--启动Hive--退出Hive--停止Hadoop

       

       

 

二、hive操作

hive创建与查看数据库
mysql查看hive元数据表DBS
hive创建与查看表
mysql查看hive元数据表TBLS

 

 

 

 

 

 

 

 

三、hive进行词频统计

准备txt文件

启动hadoop，启动hive

创建并查看文本表 create table

导入文件的数据到文本表中 load data local inpath

 

 

 分割文本 split

行转列explode

统计词频group by

上传文件至hdfs

从hdfs导入文件内容到表wctext, 并查看hdfs源文件，hfds数据库文件

统计词频

 

词频统计结果存到数据表里，并查看表和文件

进行词频统计，将结果保存为本地文件