随笔分类 -  Hive

1 2 下一页
hive_hiveserver2 hive-site.xml config and start
摘要：hive-site.xml # vi hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://sd-9c1f-2eac:3306/hive?cre 阅读全文
posted @ 2017-05-05 17:21 天天好心情啊 阅读(1084) 评论(0) 推荐(0)
Hive MetaStore Upgrade
摘要：# cd $HIVE_HOME/scripts/metastore/upgrade/mysql [Dev root @ sd-9c1f-2eac /usr/local/src/apache-hive-2.1.1-bin/scripts/metastore/upgrade/mysql]# ls001- 阅读全文
posted @ 2017-05-05 11:51 天天好心情啊 阅读(1489) 评论(0) 推荐(0)
Hive_hdfs csv导入hive demo
摘要：1 create csv file.student.csv 2 put it to hdfs. 3 create table in hive. 4 load hdfs file to hive. 5 verify. 阅读全文
posted @ 2017-03-07 16:52 天天好心情啊 阅读(2849) 评论(0) 推荐(0)
Hive进阶_汇总
摘要：=========================================================================== 第2章 Hive数据的导入 使用Load语句执行数据的导入： LOAD 导入语句到数据仓库的表当中。 load data [local] inpath 'filepath' [overwrite] into table tablename [p... 阅读全文
posted @ 2017-01-25 18:02 天天好心情啊 阅读(370) 评论(0) 推荐(0)
Hive进阶_开发Hive的自定义函数
摘要：Hive中的自定义函数简介 (1) 在类中创建自定义函数。自定义UDF需要继承'org.apache.hadoop.hive.ql.exec.UDF',实现evaluate函数,evaluate函数支持重载。 (2) 将该类所在的包导出成jar包，放入linux目录下。 (3) 进入hive客户端， 阅读全文
posted @ 2017-01-25 16:28 天天好心情啊 阅读(1933) 评论(0) 推荐(0)
Hive进阶_Hive的客户端操作
摘要：启动远程客户端 # hive --service hiveserver2获取连接-〉创建运行环境-〉执行HQL-〉处理结果-〉释放资源 工具类 1 package demo.utils; 2 3 import java.sql.Connection; 4 import java.sql.Driver 阅读全文
posted @ 2017-01-24 18:09 天天好心情啊 阅读(432) 评论(0) 推荐(0)
Hive进阶_Hive的子查询
摘要：- 集合中如果含null数据，不可使用not in, 可以使用in- hive只支持where和from子句中的子查询- 主查询和自查询可以不是同一张表 阅读全文
posted @ 2017-01-24 14:50 天天好心情啊 阅读(920) 评论(0) 推荐(0)
Hive进阶_Hive的表连接
摘要：等值连接 不等值连接 外连接(取交集) (右外连接) 自连接 阅读全文
posted @ 2017-01-24 14:15 天天好心情啊 阅读(255) 评论(0) 推荐(0)
Hive进阶_内置函数
摘要：Hive数学函数 round : 四舍五入 ceil : 向下取整 floor : 向上取整 Hive字符函数 Hive收集函数和转换函数 Hive日期函数 Hive条件函数 Hive聚合函数和表生成函数 阅读全文
posted @ 2017-01-23 16:00 天天好心情啊 阅读(518) 评论(0) 推荐(0)
Hive进阶_Hive数据查询
摘要：简单查询和fetch task 简单查询： 简单查询的 fetch task 功能，从HDFS拉取，不用map reduce. 前两种配置，当前session有效。修改hive-site.xml永久有效。 查询中使用过滤 在查询中使用排序 排序使用别名时要开启使用别名模式：set hive.grou 阅读全文
posted @ 2017-01-23 15:26 天天好心情啊 阅读(346) 评论(0) 推荐(0)
Hive进阶_Hive数据的导入
摘要：使用Load语句执行数据的导入 语法： explain: local是从本地导入，无local则默认从HDFS导入,overwrite是否覆盖表中存在的数据。 本地：导入本地一个文件 导入本地一个目录下的文件，覆盖原有数据 导入HDFS文件 使用Sqoop进行数据的导入 (1)下载： http:// 阅读全文
posted @ 2017-01-23 14:54 天天好心情啊 阅读(232) 评论(0) 推荐(0)
Hive_Hive的数据模型_汇总
摘要：体系结构： 元数据 /HQL的执行安装： 嵌入 /远程 /本地管理： CLI /web界面 /远程服务数据类型： 基本 /复杂 /时间数据模型： 数据存储 /内部表 /分区表 /外部表 /桶表 /视图 阅读全文
posted @ 2017-01-20 16:00 天天好心情啊 阅读(2150) 评论(0) 推荐(0)
Hive_Hive的数据模型_视图
摘要：- 视图是一种虚表，是一个逻辑概念；可以跨越多张表- 视图建立在已有表的基础上，视图赖以建立的这些表称为基表。- 视图可以简化复杂的查询。 创建视图 查看视图结构 查询视图 阅读全文
posted @ 2017-01-20 15:57 天天好心情啊 阅读(440) 评论(0) 推荐(0)
Hive_Hive的数据模型_桶表
摘要：对数据进行HASH运算，放在不同文件中，降低热块，提高查询速度。 例如：根据sname进行hash运算存入5个桶中。 create table bucket_table(sid int, sname string, age int)clustered by (sname) into 5 bucket 阅读全文
posted @ 2017-01-20 15:48 天天好心情啊 阅读(216) 评论(0) 推荐(0)
Hive_Hive的数据模型_外部表
摘要：Hive的数据模型之外部表 外部表(External Table)- 指向已经在HDFS中存在的数据，可以创建Partition- 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异。- 外部表侄有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个 阅读全文
posted @ 2017-01-20 15:31 天天好心情啊 阅读(515) 评论(0) 推荐(0)
Hive_Hive的数据模型_分区表
摘要：Hive的数据模型之分区表 准备数据表： 准备文本数据： 将文本数据插入到数据表： -partition对应于数据库中的Partition 列的密集索引 -在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。 创建分区表： 向分区表中插 阅读全文
posted @ 2017-01-20 13:30 天天好心情啊 阅读(300) 评论(0) 推荐(0)
Hive_Hive的数据模型_内部表
摘要：Hive的数据模型_内部表 - 与数据库中的Table在概念上是类似。- 每一个Table在Hive中都有一个相应的目录存储数据。- 所有的Table数据(不包括External Table)都保存在这个目录中。 if open the recycle bin function of hdfs . 阅读全文
posted @ 2017-01-20 12:05 天天好心情啊 阅读(225) 评论(0) 推荐(0)
Hive_Hive的数据模型_数据存储
摘要：Hive的数据模型_数据存储 web管理工具察看HDFS文件系统：http://<IP>:50070/ 基于HDFS没有专门的数据存储格式,默认使用制表符存储结构主要包括：数据库，文件，表，视图可以直接加载文本文件创建表时，可以指定Hive数据的列分隔符和行分隔符。 Hive数据模型表：-Table 阅读全文
posted @ 2017-01-20 11:57 天天好心情啊 阅读(381) 评论(0) 推荐(0)
Hive_Hive的安装
摘要：嵌入模式不推荐使用。 本地模式多用于开发和测试。 远程模式多用于生产环境。 阅读全文
posted @ 2017-01-19 15:18 天天好心情啊 阅读(138) 评论(0) 推荐(0)
Hive_Hive体系结构
摘要：元数据： HQL的执行过程 ORACEL 执行计划，Hive 类似。 无索引时，生成全表扫描执行计划，执行全表扫描。 创建索引后，重新生成SQL语句执行计划，基于索引扫描，提高查询效率。 阅读全文
posted @ 2017-01-19 15:00 天天好心情啊 阅读(162) 评论(0) 推荐(0)

1 2 下一页