Hive的基础操作指南

​

Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

首先，我们需要了解Hive的基本组成部分。Hive主要包括以下几个部分：Hive Shell、Hive Server、Hive Metadata和Hive Driver。Hive Shell是Hive提供的一个命令行工具，用于执行Hive命令和脚本。Hive Server是一个允许远程客户端执行HiveQL的服务。Hive Metadata是Hive的元数据，包括表的定义、列的定义等。Hive Driver是Hive的驱动程序，负责将HiveQL语句转换为MapReduce任务。

接下来，我们来看看如何使用Hive。首先，我们需要启动Hive Shell，这可以通过在命令行输入“hive”命令来完成。然后，我们可以在Hive Shell中执行HiveQL语句。例如，我们可以创建一个表，插入数据，然后查询数据。以下是一些基本的HiveQL语句：

创建表：

CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String) COMMENT 'Employee details' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;

这个语句创建了一个名为employee的表，包含eid、name、salary和destination四个字段，字段之间由制表符分隔，行之间由换行符分隔，数据存储为文本文件。

插入数据：

LOAD DATA LOCAL INPATH '/home/user/employee.txt' INTO TABLE employee;

这个语句将本地文件/home/user/employee.txt中的数据加载到employee表中。

查询数据：

SELECT * FROM employee WHERE salary > 50000;

这个语句查询了employee表中salary大于50000的所有记录。

Hive还支持更复杂的查询，例如分组、排序和联接等。例如，我们可以使用以下语句查询每个destination的平均薪水：

SELECT destination, AVG(salary) FROM employee GROUP BY destination;

这个语句将employee表按destination字段进行分组，然后计算每个组的平均薪水。

​