第九次作业
一.安装Hive
- 下载解压重命名权限
- 配置环境变量 $HIVE_HOME
- 修改Hive配置文件 gedit
- 配置mysql驱动
- 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls
- 在mysql新建hive数据库 show databases;
- 配置mysql允许hive接入 show grants for 'hive'@'localhost';
- 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls
- 启停
- 启动Hadoop--启动Hive--退出Hive--停止Hadoop
- 启动Hadoop--启动Hive--退出Hive--停止Hadoop
二、Hive操作
- hive创建与查看数据库
- mysql查看hive元数据表DBS
- hive创建与查看表
- mysql查看hive元数据表TBLS
- hdfs查看表文件位置
- hive删除表
- mysql查看hive元数据表TBLS
- hive删除数据库
- mysql查看hive元数据表DBS
- hdfs查看表文件夹变化
-
三、hive进行词频统计
1.准备txt文件
2.启动hadoop,启动hive
3.创建并查看文本表 create table
4.导入文件的数据到文本表中 load data local inpat
5.分割文本 split
6.行转列explode
7.统计词频group by
8.准备txt文件
9.上传文件至hdfs
10.从hdfs导入文件内容到表wctext, 并查看hdfs源文件,hfds数据库文件
11.统计词频
12.词频统计结果存到数据表里,并查看表和文件
13.本地调用本地hql文件进行词频统计,将结果保存为本地文件
(1)创建编辑本地hql文件
(2)输入正确的命令
(3)运行hql文件,查看结果
(4)查看文件内容
14.退出hive,停止hadoop