随笔分类 -  Hive

使用TPC-H数据测试HIVE行存储及列存储的优劣
摘要:本文主要是测试了Hive中行存储和列存储(RCFile)之间的优劣。1.TPCH 可以在http://www.tpc.org/tpch/获得源码,我下载的版本是2.14.0。 下载源码后,根据自己的系统修改makefile文件,比如我修改成如下形式: CC =gcc DATABASE= DB2 MACHINE = LINUX WORKLOAD = TPCH TPCH默认生成的数据格式是col1|col2|col3|,然而有的数据库的输入格式是col1|col2|col3,想要得到该种数据格式,修改tpch的源码dss.h文件: /*#definePR_END(fp)fprintf(fp,&qu 阅读全文

posted @ 2011-08-15 09:54 Shall 阅读(3225) 评论(0) 推荐(0)

Hive抛一个异常~解决方法
摘要:重新维护这个博客吧FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpectedexception caught.NestedThrowables:java.lang.reflect.InvocationTargetExceptionFAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql..exec.DDLTask这是由于有两个core-***.jar包(我的是core-3.1.1.jar)可以把一个改为备用:mv $HADOO 阅读全文

posted @ 2010-05-13 21:34 Shall 阅读(1791) 评论(0) 推荐(0)

导航