摘要: hadoop源码中有很多package,以下对比较重要的package进行说明: package 说明 tool 提供命令行工具,入distcp(集群间复制数据)、archive(打包归档) mapreduce Map/Reduce实现 filecache 提供hdfs的本地缓存,提高读取速度 fs 抽象文件系统,提供统一访问接口 hdfs 分布式文件系统实现 ipc 节点间通信 io ... 阅读全文
posted @ 2012-09-26 20:16 晓锋童鞋 阅读(213) 评论(0) 推荐(0)
摘要: linux系统默认打开文件数是1024,这对服务器来说,数值太低了,经常报Too many open files这个错,所以要手动修改这个值。 1、使用ulimit -a可以查看目前服务器的资源限制情况: 其中的open file就是打开的文件数,从中看到可以使用-n进行设置,也可以使用ulimit -n直接查看打开文件数的限制数 2、设置系统root有效的打开文件数限制 vi/etc/security/limits.conf 添加如下内容: 然后运行ulimit -n 131072设置,这是为了在当前会话中生效。 limits.conf在下次登录后就会生效。 ... 阅读全文
posted @ 2012-09-26 19:33 晓锋童鞋 阅读(568) 评论(0) 推荐(1)
摘要: 在mysql里面导出文件的时候,经常要对文件进行转码,linux有很好的转码工具。1、可使用vi命令找到文件的具体编码: vi $filename,在命令模式下使用set encoding,然后回车,可看到文件的具体编码。 另外,通过file命令来显示具体文件编码是不正确的,通过vi这种方式才能获取正确的编码。2、使用piconv命令转码: piconv [-f from_encoding] [-t to_encoding] [-s string] [files...] -f 文件原来的编码; -t 文件要转成的编码; 阅读全文
posted @ 2012-09-19 21:01 晓锋童鞋 阅读(349) 评论(0) 推荐(0)
摘要: 集群重启找不到regionserver问题: 1、安装常规的关闭顺序进行关闭:zookeeper->hbase->hadoop(开启顺序相反); 2、hbase日志文件问题,可把日志文件备份后重启(可能是日志文件的写锁问题); 3、zookeeper节点已存在问题,把/data/hbase/tmp/zookeeper目录删除,可解决此问题; 4、regionserver的关闭是由HMaster负责的,因此如果HMaster不正常关闭,regionserver关闭不了,可写脚本远程关闭; 5、pids文件配置在hbase/pids目录下较好,以防jps找不到教程; 6、在shell命 阅读全文
posted @ 2012-09-19 16:47 晓锋童鞋 阅读(825) 评论(0) 推荐(0)
摘要: JVM、GC 阅读全文
posted @ 2012-09-14 15:19 晓锋童鞋 阅读(327) 评论(0) 推荐(0)
摘要: hive-0.8.1非常强大,但是还是很多地方需要完善,本人在是用过程中,遇到一些问题。现在把它们列出来,希望能找到解决方案或者完善的方法; 1、只有进入到相应的数据库后,才能使用desc功能; 2、hive.logs持续报下面的错误,虽然没有影响使用,但是却占了大量的日志,原因已经知道,在找方法解决中: 3、在使用insert overwrite分区的时候,报Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.ex... 阅读全文
posted @ 2012-09-13 21:34 晓锋童鞋 阅读(640) 评论(0) 推荐(0)
摘要: 随着hadoop的升级,hive也升级一下,它的升级比较简单,这次是从hive-0.7.1升级到hive-0.8.1:1、下载新版hive,并解压;2、查看解压文件中的hive-0.8.1\scripts\metastore\upgrade\mysql目录,可以看到有很多升级元数据的脚本,这里使用的是mysql作为元数据存储,所以使用sql脚本升级,改目录下有如下文件:3、查看upgrade-0.7.0-to-0.8.0.mysql.sql,可看到使用里哪些脚本:4、将上图中的两个脚本拷贝到元数据库服务器,并执行,成功后元数据就升级了;ps: 1、在元数据升级之前,在原来的表上执行sql都会. 阅读全文
posted @ 2012-09-13 21:22 晓锋童鞋 阅读(260) 评论(0) 推荐(0)
摘要: 由于要支持hbase0.92.0的一些新特性,需要对现有的hadoop进行升级。升级流程如下: 1、关闭Hbase、Hive service、关闭hadoop集群; 2、执行hadoop dfsadmin -upgradeProgress status,显示There are no upgrades in progress,表示当前没有升级动作; 3、执行hadoop fs -lsr > /usr/local/cluster/namenode.log,执行hadoop fsck / > /usr/local/cluster/fsck.log;生成这个两个文件进行集群升级前后的对比工 阅读全文
posted @ 2012-09-13 21:09 晓锋童鞋 阅读(272) 评论(0) 推荐(0)
摘要: 开博客主要原因是到了一定的工作年限,就想把自己积累的技术和经验给记录下来,形成自己的一个知识库。同时,能够跟业内的技术牛人交流,提高自己的技术水平,此是开博客的主要目的。 希望保持较好的技术心态,深入技术底层,摆脱对bug出现的茫然。 阅读全文
posted @ 2012-09-13 10:30 晓锋童鞋 阅读(100) 评论(0) 推荐(0)