09 Hive安装与配置
一、hive下载
1.下载并解压hive源程序,重命名,权限
hive下载官网:http://www.apache.org/dyn/closer.cgi/hive/
sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local #解压到/usr/local中
cd /usr/local
sudo mv apache-hive-1.2.1-bin hive #将文件夹名改为hive
sudo chown -R hadoop:hadoop hive #修改文件权限
2.配置环境变量
编辑~/.bashrc配置,将hive命令加入到环境变量中去,配置完成后使其生效
查看路径;修改文件夹权限;查看版本
3.修改配置文件
1 <?xml version="1.0" encoding="UTF-8" standalone="no"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 3 <configuration> 4 <property> 5 <name>javax.jdo.option.ConnectionURL</name> 6 <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> 7 <description>JDBC connect string for a JDBC metastore</description> 8 </property> 9 <property> 10 <name>javax.jdo.option.ConnectionDriverName</name> 11 <value>com.mysql.jdbc.Driver</value> 12 <description>Driver class name for a JDBC metastore</description> 13 </property> 14 <property> 15 <name>javax.jdo.option.ConnectionUserName</name> 16 <value>hive</value> 17 <description>username to use against metastore database</description> 18 </property> 19 <property> 20 <name>javax.jdo.option.ConnectionPassword</name> 21 <value>hive</value> 22 <description>password to use against metastore database</description> 23 </property> 24 </configuration>
二、安装MySQL并配置MySQLl驱动
1. 查看MySQL版本和jar包版本
2.选择新版JAR包:
1)将jar包拷贝到/usr/local/hive/lib目录下
2)删除mysql-connector-java-5.1.40-bin.jar
3)启动hadoop集进入hive
4)在mysql新建hive数据库 show databases;
5)配置mysql允许hive接入 show grants for 'hive'@'localhost';
启停启动Hadoop--启动Hive--退出Hive--停止Hadoop
二、Hive操作
- hive创建与查看数据库
2.mysql查看hive元数据表DBS
3.hive创建与查看表
4.mysql查看hive元数据表TBLS
5.hdfs查看表文件位置
6.hive删除表
7.mysql查看hive元数据表TBLS
8.hive删除数据库
9.mysql查看hive元数据表DBS
10.hdfs查看表文件夹变化
三、hive进行词频统计
- 准备txt文件
2.启动hadoop,启动hive
3.创建并查看文本表 create table
4.导入文件的数据到文本表中 load data local inpat
5.分割文本 split
6.行转列explode
7.统计词频group by
8.准备txt文件
9.上传文件至hdfs
10.从hdfs导入文件内容到表wctext, 并查看hdfs源文件,hfds数据库文件
-
11.统计词频
12.词频统计结果存到数据表里,并查看表和文件
13.本地调用本地hql文件进行词频统计,将结果保存为本地文件
四、大作业