第九次作业

 

一.安装Hive

1. 1.在linux命令终端输入  sudo mount -t vboxsf share /mnt/bdshare 完成挂载，进入bdshare文件夹可见文件夹挂载成功

   

    2.输入  sudo tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local  对apache-hive进行解压并移至/usr/local目录，进入/usr/local目录可见文件解压移动成功

   

   3.输入sudo mv apache-hive-1.2.1-bin hive 将文件名改为hive，如下所示

   

    

   

    

    4.输入sudo chown -R hadoop:hadoop hive 修改文件夹权限

   

    5.环境变量配置

   gedit或者vim bashrc文件，本例使用gedit，输入gedit ~/.bashrc打开配置文件编辑

   加入以下两条信息，保存并退出

   export HIVE_HOME=/usr/local/hive
   export PATH=$PATH:$HIVE_HOME/bin

   

    6.输入source ~/.bashrc使配置立刻生效

   

   

    

    

   7.修改配置文件

   进入/usr/local/hive/conf文件夹，输入cp hive-default.xml.template hive-default.xml复制文件并重命名

   

    8.新建一个hive-site.xml文件，内容如下：

2. 

    

    启动hive

   

   

    

    

   9.mysql配置

   输入netstat -tap | grep mysql 查看mysql是否配置

   

    

    

    退出hive：

   

    

    

   10.启动并

    12.新建hive数据库

   create database hive;

   

    13.配置mysql允许hive接入

   

 

二、Hive操作

1.hive创建与查看数据库

 

2.mysql查看hive元数据表DBS

 

 

3.hive创建与查看表

 

4.mysql查看hive元数据表TBLS

5.hdfs查看表文件位置

 

 

6.hive删除表

7.mysql查看hive元数据表TBLS

8.hive删除数据库

 

 

9.hdfs查看表文件夹变化

 

 

 

 

三、hive进行词频统计

1.准备txt文件

 

 

2.启动hadoop，启动hive

 

3.创建并查看文本表 create table

 

4.导入文件的数据到文本表中 load data local inpath

 

 

5.分割文本 split

 

6.行转列explode

 

 

7.统计词频group by

 

8.准备txt文件

 

9.上传文件至hdfs

 

10.从hdfs导入文件内容到表wctext, 并查看hdfs源文件，hfds数据库文件

 

 

11.统计词频

 

 

 

 

12.词频统计结果存到数据表里，并查看表和文件

 

 

 

 

13.本地调用本地hql文件进行词频统计，将结果保存为本地文件

14.退出hive，停止hadoop

 

 

 

 

 

四、期末大作业开始准备 期末大作业sc.docx

 

1. 1. • 学生课程分数sc.text
      • hdfs
      • HBASE
      • MapReduce

Hive