摘要：
索引是hive0.7之后才有的功能，创建索引需要评估其合理性，因为创建索引也是要磁盘空间，维护起来也是需要代价的 创建索引 hive> create index [index_studentid] on table student_3(studentid) > as 'org.apache.hado 阅读全文
posted @ 2016-12-26 19:07
卖臭豆腐喽
阅读(13860)
评论(3)
推荐(2)
摘要：
hive有三种导出数据的方式 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 导出数据到本地文件系统 阅读全文
posted @ 2016-12-26 19:06
卖臭豆腐喽
阅读(623)
评论(0)
推荐(0)
摘要：
创建项目，添加jar包，hive的s上，所以也需要hadoop的一些jar 这个图片是从网上找的，我直接使用的以前hadoop的项目 创建测试类，写测试代码 //获取jdbc链接 private static Connection getConnection(){ Connection conn=n 阅读全文
posted @ 2016-12-26 19:03
卖臭豆腐喽
阅读(2580)
评论(0)
推荐(0)
摘要：
1：如果在将文件导入到hive表时，查询结果为null(下图) 这个是因为在创建表的时候没有指定列分隔符，hive的默认分隔符是ctrl+a(/u0001) 2.当我复制好几行sql到hive命令行时，会出现下面情况，导致复制失败 这个是因为我的sql中有tab的缩进，将tab的空格去掉即可 3.当 阅读全文
posted @ 2016-12-26 18:58
卖臭豆腐喽
阅读(6503)
评论(0)
推荐(0)
摘要：
mdl是数据操作类的语言，包括向数据表加载文件，写查询结果等操作 hive有四种导入数据的方式 》从本地加载数据 LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE [tableName]; 》从hdfs上加载 阅读全文
posted @ 2016-12-26 18:54
卖臭豆腐喽
阅读(499)
评论(0)
推荐(0)
摘要：
hive的数据查询一般会扫描整个表，当表数据太大时，就会消耗些时间，有时候我们只需要对部分数据感兴趣，所以hive引入了分区的概念 hive的表分区区别于一般的分布式分区（hash分区，范围分区，一致性分区），hive的分区是比较简单的。他是根据hive的表结构，分区的字段设置将数据按目录存放起来， 阅读全文
posted @ 2016-12-26 18:48
卖臭豆腐喽
阅读(4756)
评论(0)
推荐(0)
摘要：
创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“' 阅读全文
posted @ 2016-12-26 18:43
卖臭豆腐喽
阅读(4652)
评论(0)
推荐(0)
摘要：
这里是使用mysql作为hive的元数据存储所以要先启动mysql的服务，MySQL的安装可以参考下面连接 MySQL安装：http://www.cnblogs.com/zhangXingSheng/p/6941422.html 下载hive(http://mirrors.cnnic.cn/apac 阅读全文
posted @ 2016-12-26 18:36
卖臭豆腐喽
阅读(2740)
评论(0)
推荐(0)
摘要：
Hive是hadoop一个重要的子项目，它利用的是mapreduce的编程技术，实现了部分sql语句，提供类sql的编程接口。 hive是一个基于hadoop文件系统之上的数据仓库架构架构，他为数据仓库的管理提供了很多功能：etl(转换，抽取，加载)工具，数据存储管理和大型数据集的查询和分析功能。他 阅读全文
posted @ 2016-12-26 16:21
卖臭豆腐喽
阅读(266)
评论(0)
推荐(0)
摘要：
mapreduce 2 思想架构 mr2解决了mr1的jobTracker的单点颈瓶问题，这个问题会影响hadoop的扩展性，集群的可靠性，mr1中jobTracker负责集群作业的分发，管理，调度，同时还必须和集群中所有的节点保持通信，了解集群的资源情况和运行的状态，所以jobTracker就负担 阅读全文
posted @ 2016-12-26 15:48
卖臭豆腐喽
阅读(1257)
评论(0)
推荐(1)
浙公网安备 33010602011771号