随笔分类 -  Hive

上一页 1 2
Hive常用命令及作用
摘要：1-创建表 -- 内部表 create table aa(col1 string,col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'； -- 外部表 create external 阅读全文
posted @ 2019-12-14 14:54 玩转大数据 阅读(729) 评论(0) 推荐(0)
Hive视图如何创建、特点及应用场景
摘要：Hive视图特点 View是逻辑存在，Hive暂不支持物化视图(1.0.3) View只读，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View View内可能包含ORDER BY/LIMIT语句，假如一个针对view的查询也包含这些语句， 则view中的语句 阅读全文
posted @ 2019-12-14 14:52 玩转大数据 阅读(10873) 评论(0) 推荐(1)
Hive内外表的区分方法及内外部差异
摘要：Hive内外部区分方法 查看hive元数据：进入mysql中hive元数据库，查看TBLS表，查看对应的表名和表类型； 在hive-cli界面：desc extended tablename，查看TableType，一般在展示结果的最后显示； 在hive-cli界面：desc formatted t 阅读全文
posted @ 2019-12-14 14:51 玩转大数据 阅读(1449) 评论(0) 推荐(0)
Hive支持的文件格式和压缩格式及各自特点
摘要：Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTex 阅读全文
posted @ 2019-12-14 14:50 玩转大数据 阅读(5240) 评论(0) 推荐(0)
Hive的数据模型及各模块的应用场景
摘要：Hive的数据模型 Hive数据模型.png 数据模型组成及应用场景 Hive的数据模型主要有：database、table、partition、bucket四部分； 数据模型之database database：相当于关系型数据库中的命名空间，作用是将数据库应用隔离到不同的数据库模式中，hive提 阅读全文
posted @ 2019-12-14 14:49 玩转大数据 阅读(1695) 评论(0) 推荐(0)
Hive架构原理
摘要：什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更 阅读全文
posted @ 2019-12-14 14:47 玩转大数据 阅读(579) 评论(0) 推荐(0)
Hive与HBase的区别
摘要：从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql 阅读全文
posted @ 2019-12-14 14:45 玩转大数据 阅读(1048) 评论(0) 推荐(0)
Hive知识点总结
摘要：Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述UDF/UDAF/UDTF是什么，各自解决问题及 阅读全文
posted @ 2019-12-14 14:44 玩转大数据 阅读(385) 评论(0) 推荐(0)
hive面试题
摘要：1. Hive数据倾斜原因： key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个M 阅读全文
posted @ 2019-12-14 13:12 玩转大数据 阅读(968) 评论(0) 推荐(0)
hive函数
摘要：Windowing functions 1.LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值第一个参数为列名，第二个参数为往下第n行（可选，默认为1，不可为负数），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） 2.LAG(col,n,DEFAU 阅读全文
posted @ 2019-12-06 16:37 玩转大数据 阅读(973) 评论(0) 推荐(0)
Hive知识点
摘要：1、Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive） 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED 阅读全文
posted @ 2019-12-04 10:22 玩转大数据 阅读(232) 评论(0) 推荐(0)
Hive三种建表语句详解
摘要：https://blog.csdn.net/qq_36743482/article/details/78383964 阅读全文
posted @ 2019-11-18 20:00 玩转大数据 阅读(2704) 评论(0) 推荐(0)
hvie炸裂函数explode
摘要：lateral view表的关联只能和explode使用 explode炸裂函数，只能炸裂Array Map 列：select id,name,type from table_name lateral view explode(split(types,"\\|")) t as type; hive> 阅读全文
posted @ 2019-05-14 15:11 玩转大数据 阅读(1397) 评论(0) 推荐(0)
Hive的安装
摘要：1.hive的安装解压就完事了配置/etc/profile环境变量启动hdfs启动hivecp $HIVE_HOME/lib/jline.xxxxx $HADOOP_HOME/share/hadoop/yarn/lib2.show databases;查看数据库3.show tables;4.cre 阅读全文
posted @ 2019-05-07 08:23 玩转大数据 阅读(159) 评论(0) 推荐(0)

上一页 1 2