随笔分类 -  hive

修改NameNode端口后，hive表查询报错
摘要：在进行使用hive查询表数据的时候，抛出异常 hive> select*from blackList;FAILED: SemanticException Unable to determine if hdfs://node1:8020/opt/hive/warehouse is encrypted: 阅读全文
posted @ 2017-06-24 15:58 卖臭豆腐喽 阅读(1226) 评论(0) 推荐(0)
mysql 安装
摘要：这里使用的mysql是 mysql-5.7.16 将下载下来的mysql 安装tar包下载解压这就不用多说了， ps:（mysql-5.7.16-linux-glibc2.5-x86_64 这名字太长了，我把他改为mysql-5.7.16） 首先 （1）配置环境变量 （2）新增mysql的用户和组 阅读全文
posted @ 2017-06-04 18:37 卖臭豆腐喽 阅读(3734) 评论(0) 推荐(0)
hive 复杂类型
摘要：hive提供一种复合类型的数据 struct：可以使用“.”来存取数据 map:可以使用键值对来存取数据 array:array中存取的数据为相同类型，其中的数据可以通过下表获取数据 创建 struct类型 create table student_struct(id INT, info struc 阅读全文
posted @ 2016-12-26 19:09 卖臭豆腐喽 阅读(1756) 评论(0) 推荐(0)
hive创建索引
摘要：索引是hive0.7之后才有的功能，创建索引需要评估其合理性，因为创建索引也是要磁盘空间，维护起来也是需要代价的 创建索引 hive> create index [index_studentid] on table student_3(studentid) > as 'org.apache.hado 阅读全文
posted @ 2016-12-26 19:07 卖臭豆腐喽 阅读(13857) 评论(3) 推荐(2)
hive的数据导出方式
摘要：hive有三种导出数据的方式 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 导出数据到本地文件系统 阅读全文
posted @ 2016-12-26 19:06 卖臭豆腐喽 阅读(622) 评论(0) 推荐(0)
eclipse远程连接hive
摘要：创建项目，添加jar包，hive的s上，所以也需要hadoop的一些jar 这个图片是从网上找的，我直接使用的以前hadoop的项目 创建测试类，写测试代码 //获取jdbc链接 private static Connection getConnection(){ Connection conn=n 阅读全文
posted @ 2016-12-26 19:03 卖臭豆腐喽 阅读(2579) 评论(0) 推荐(0)
在hive中遇到的错误
摘要：1：如果在将文件导入到hive表时，查询结果为null(下图) 这个是因为在创建表的时候没有指定列分隔符，hive的默认分隔符是ctrl+a(/u0001) 2.当我复制好几行sql到hive命令行时，会出现下面情况，导致复制失败 这个是因为我的sql中有tab的缩进，将tab的空格去掉即可 3.当 阅读全文
posted @ 2016-12-26 18:58 卖臭豆腐喽 阅读(6500) 评论(0) 推荐(0)
hive数据操作
摘要：mdl是数据操作类的语言，包括向数据表加载文件，写查询结果等操作 hive有四种导入数据的方式 》从本地加载数据 LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE [tableName]; 》从hdfs上加载 阅读全文
posted @ 2016-12-26 18:54 卖臭豆腐喽 阅读(497) 评论(0) 推荐(0)
hive 表分区操作
摘要：hive的数据查询一般会扫描整个表，当表数据太大时，就会消耗些时间，有时候我们只需要对部分数据感兴趣，所以hive引入了分区的概念 hive的表分区区别于一般的分布式分区（hash分区，范围分区，一致性分区），hive的分区是比较简单的。他是根据hive的表结构，分区的字段设置将数据按目录存放起来， 阅读全文
posted @ 2016-12-26 18:48 卖臭豆腐喽 阅读(4753) 评论(0) 推荐(0)
hive 普通创建表和跟新列操作
摘要：创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“' 阅读全文
posted @ 2016-12-26 18:43 卖臭豆腐喽 阅读(4651) 评论(0) 推荐(0)
hive2.1.0安装
摘要：这里是使用mysql作为hive的元数据存储所以要先启动mysql的服务，MySQL的安装可以参考下面连接 MySQL安装：http://www.cnblogs.com/zhangXingSheng/p/6941422.html 下载hive(http://mirrors.cnnic.cn/apac 阅读全文
posted @ 2016-12-26 18:36 卖臭豆腐喽 阅读(2738) 评论(0) 推荐(0)
hive
摘要：Hive是hadoop一个重要的子项目，它利用的是mapreduce的编程技术，实现了部分sql语句，提供类sql的编程接口。 hive是一个基于hadoop文件系统之上的数据仓库架构架构，他为数据仓库的管理提供了很多功能：etl(转换，抽取，加载)工具，数据存储管理和大型数据集的查询和分析功能。他 阅读全文
posted @ 2016-12-26 16:21 卖臭豆腐喽 阅读(266) 评论(0) 推荐(0)