巫峡专栏

life is a huge undertaking

生活也是大事业

God helps those who help themselves

爱生活

爱技术

导航

随笔分类 -  hadoop/hive运维

pyinstaller打包python源程序访问hive
摘要:1.需求 使用hvie server一段时间后,业务部门需要自己不定时的查询业务数据,之前这一块都是他们提需求我们来做,后来发现这样重复一样的工作放在我们这边做是在没有效率,遂提出给他们工具或者web UI自助查询,当然hive有自己的hwi可以通过网页UI进行自助查询,但是这对不懂sql的业务人... 阅读全文

posted @ 2014-05-23 16:01 巫峡 阅读(1435) 评论(0) 推荐(0)

hadoop balance均衡datanode存储不起作用问题分析
摘要:前段时间因为hadoop集群各datanode空间使用率很不均衡,需要重新balance(主要是有后加入集群的2台机器磁盘空间比较大引起的),在执行如下语句:bin/start-balancer.sh -threshold 10 后,日志输出如下:Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being MovedMar 10, 2014 11:03:40 AM 0 0 KB 614.5 GB ... 阅读全文

posted @ 2014-03-25 12:19 巫峡 阅读(2795) 评论(0) 推荐(0)

hive 报错FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: Execu
摘要:使用hive一段时间以后,今天在使用的时候突然报错,如下:hive> show databases;FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskhive>exit;退出后使用debug模式,发现有如下错误:Ca 阅读全文

posted @ 2014-03-25 11:31 巫峡 阅读(2142) 评论(0) 推荐(0)