随笔分类 -  Hive

Hive 存储类型 StoreType
摘要：上表存储为TEXTFILE（默认），但以这种方式进行存储时，hadoop无法将文件进行分区以至于不支持mapreduce的并行计算。 推荐做法是将该表的数据导入到另一个SEQUENCEFILE的表中，其压缩后仍支持并行计算 io.seqfile.compression.type 定义如何压缩 阅读全文
posted @ 2016-09-21 15:57 Mr.Ming2 阅读(474) 评论(0) 推荐(0)
Hive内置数据类型
摘要：Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DAT 阅读全文
posted @ 2016-09-08 16:40 Mr.Ming2 阅读(374) 评论(0) 推荐(0)
Hive基础（5）---内部表 外部表 临时表
摘要：1.外部表 关键字：EXTERNAL 外部表创建时需要指定LOCATION 删除外部表时，数据不被删除 2.内部表 3.临时表 Hive 0.14.0及以上 表只对当前session有效，session退出后，表自动删除。 语法： 注意点： 1、如果创建的临时表表名已存在，那么当前session引用 阅读全文
posted @ 2016-09-06 14:15 Mr.Ming2 阅读(14405) 评论(0) 推荐(0)
Hive基础（4）---Hive的内置服务
摘要：版权声明：<—— 本文为作者呕心沥血打造，若要转载，请注明出处@http://blog.csdn.net/gamer_gyt <—— 版权声明：<—— 本文为作者呕心沥血打造，若要转载，请注明出处@http://blog.csdn.net/gamer_gyt <—— 目录(?)[+] 目录(?)[+ 阅读全文
posted @ 2016-08-31 19:03 Mr.Ming2 阅读(2931) 评论(0) 推荐(0)
Hive基础（3）---Fetch Task(转)
摘要：我们在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下图所示： 我们会发现这个属性所对应着两种模式，minimal和more。 在 阅读全文
posted @ 2016-08-31 10:53 Mr.Ming2 阅读(1259) 评论(0) 推荐(0)
Hive基础（2）---（启动HiveServer2）Hive严格模式
摘要：启动方式 1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –service hwi 用于通过浏览器来访问hiv 阅读全文
posted @ 2016-08-25 16:23 Mr.Ming2 阅读(11096) 评论(0) 推荐(0)
Hive基础（1）---Hive是什么
摘要：1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduc 阅读全文
posted @ 2016-08-23 18:23 Mr.Ming2 阅读(1820) 评论(0) 推荐(0)