第九次作业

一.安装Hive

1. 下载解压重命名权限

       2. 配置环境变量  $HIVE_HOME

       3. 修改Hive配置文件 gedit

 

 

 

       4.配置mysql驱动

                a.下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls

 

 

 

                b.在mysql新建hive数据库 show databases;

                c.配置mysql允许hive接入  show grants for 'hive'@'localhost';

      5.启停

               a.启动Hadoop--启动Hive--退出Hive--停止Hadoop

 

 

 

 

 

 

二、Hive操作

         1.hive创建与查看数据库 

         2.mysql查看hive元数据表DBS

         3.hive创建与查看表

         4.mysql查看hive元数据表TBLS

         5.hdfs查看表文件位置

         6.hive删除表

         7.mysql查看hive元数据表TBLS

         8.hive删除数据库

         9.mysql查看hive元数据表DBS 

三、hive进行词频统计

   0. 为什么要使用Hive？

操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce，减少开发人员的学习成本。功能扩展很方便。

Ø  可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。

Ø  延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

Ø  容错

良好的容错性，节点出现问题SQL仍可完成执行。

   1.准备txt文件

   2.启动hadoop，启动hive

   3.创建并查看文本表  create table

   4.导入文件的数据到文本表中 load data local inpath

   5.分割文本 split

 

   6.行转列explode

   7.统计词频group by

 

 

8.准备txt文件

 

 

 

9.上传文件至hdfs

 

 

10.从hdfs导入文件内容到表wctext, 并查看hdfs源文件，hfds数据库文件

 

 

 

11.统计词频

 

 

12词频统计结果存到数据表里，并查看表和文件

 

 

13.本地调用本地hql文件进行词频统计，将结果保存为本地文件

 

 

14.退出hive，停止hadoop