摘要: 先来一张整体概述 Hive MetaStore数据库表结构 1. SEQUENCE_TABLE : 对于db、tbl、sds等的SEQUENCE_id ,每次新增的时候取一个 2. DBS:存储hive的DB信息,表结构如下 : 3. DATABASE_PARAMS :db的key-value参数 阅读全文
posted @ 2014-05-19 20:45 xiao晓 阅读(7921) 评论(0) 推荐(0) 编辑
摘要: 关于hive中的SerDeAbstractSerDe和ObjectInspector1、继承关系 AbstractSerDe是继承了接口SerDe的abstarct类,SerDe是继承了Deserializer, Serializer接口的,新的hive使用AbstractSerDe来代替接口,将序... 阅读全文
posted @ 2014-05-19 20:34 xiao晓 阅读(2589) 评论(0) 推荐(0) 编辑
摘要: 1.一般的hdfs读写传统的对于hdfs的读写都是直接设置inputPath和outPath,而且对于数据都是以文件的形式访问的,不涉及到结构化/半结构化的东东,及时如hive存储在hdfs的的结构化数据,外部系统访问也只能自己去了解具体的结构是如何存储的,然后自己读文件再访问,传统访问hdfs的方... 阅读全文
posted @ 2014-05-19 20:31 xiao晓 阅读(12094) 评论(0) 推荐(1) 编辑
摘要: 最近项目需要调研了下orcfile文件的格式、hive执行流程、hactalog等,整理和大家分享下,欢迎拍砖和探讨 。 废话少说,第一篇orcfile Orcfile 一些优点 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/ds 阅读全文
posted @ 2014-05-19 20:15 xiao晓 阅读(7048) 评论(2) 推荐(1) 编辑