09 Hive安装与操作
一、安装Hive
1. 下载解压重命名权限
(解压)
(重命名+修改权限)
2.配置环境变量 $HIVE_HOME
(添加红框中变量)
3.修改Hive配置文件( gedit hive-site.xml)
4.配置mysql驱动(下载mysql jdbc包到/usr/local/hive/lib下)
(1)下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls
(下载文件到个人的共享文件夹)
(拷贝)
(2)在mysql新建hive数据库 show databases;
(3)配置mysql允许hive接入 show grants for 'hive'@'localhost'
5.启停
启动Hadoop--启动Hive退出Hive--停止Hadoop
二、hive操作
- hive创建与查看数据库
- mysql查看hive元数据表DBS
- hive创建与查看表
- mysql查看hive元数据表TBLS
- hdfs查看表文件位置
- hive删除表
- mysql查看hive元数据表TBLS
- hive删除数据库
- mysql查看hive元数据库DBS
hdfs查看表文件夹变化
三、hive进行词频统计
- 准备txt文件
- 启动hadoop,启动hive
- 创建并查看文本表 create table
- 导入文件的数据到文本表中 load data local inpath
- 分割文本 split
- 行转列explode
- 统计词频group by
- 准备txt文件
- 上传文件至hdfs
- 从hdfs导入文件内容到表wctext, 并查看hdfs源文件,hfds数据库文件
- 统计词频
- 词频统计结果存到数据表里,并查看表和文件
- 本地调用本地hql文件进行词频统计,将结果保存为本地文件
(1)创建编辑本地hql文件
(2)运行hql文件,查看结果
(3)查看文件内容
(4)退出hive,停止hadoop