晓锋童鞋

摘要： hive-0.8.1非常强大，但是还是很多地方需要完善，本人在是用过程中，遇到一些问题。现在把它们列出来，希望能找到解决方案或者完善的方法； 1、只有进入到相应的数据库后，才能使用desc功能； 2、hive.logs持续报下面的错误，虽然没有影响使用，但是却占了大量的日志，原因已经知道，在找方法解决中： 3、在使用insert overwrite分区的时候，报Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.ex... 阅读全文

摘要： 随着hadoop的升级，hive也升级一下，它的升级比较简单，这次是从hive-0.7.1升级到hive-0.8.1：1、下载新版hive，并解压；2、查看解压文件中的hive-0.8.1\scripts\metastore\upgrade\mysql目录，可以看到有很多升级元数据的脚本，这里使用的是mysql作为元数据存储，所以使用sql脚本升级，改目录下有如下文件：3、查看upgrade-0.7.0-to-0.8.0.mysql.sql，可看到使用里哪些脚本：4、将上图中的两个脚本拷贝到元数据库服务器，并执行，成功后元数据就升级了；ps： 1、在元数据升级之前，在原来的表上执行sql都会. 阅读全文

摘要： 由于要支持hbase0.92.0的一些新特性，需要对现有的hadoop进行升级。升级流程如下： 1、关闭Hbase、Hive service、关闭hadoop集群； 2、执行hadoop dfsadmin -upgradeProgress status，显示There are no upgrades in progress，表示当前没有升级动作； 3、执行hadoop fs -lsr > /usr/local/cluster/namenode.log，执行hadoop fsck / > /usr/local/cluster/fsck.log；生成这个两个文件进行集群升级前后的对比工 阅读全文

摘要： 开博客主要原因是到了一定的工作年限，就想把自己积累的技术和经验给记录下来，形成自己的一个知识库。同时，能够跟业内的技术牛人交流，提高自己的技术水平，此是开博客的主要目的。 希望保持较好的技术心态，深入技术底层，摆脱对bug出现的茫然。 阅读全文