晓锋童鞋

摘要： hadoop源码中有很多package，以下对比较重要的package进行说明： package 说明 tool 提供命令行工具，入distcp（集群间复制数据）、archive（打包归档） mapreduce Map/Reduce实现 filecache 提供hdfs的本地缓存，提高读取速度 fs 抽象文件系统，提供统一访问接口 hdfs 分布式文件系统实现 ipc 节点间通信 io ... 阅读全文

摘要： linux系统默认打开文件数是1024，这对服务器来说，数值太低了，经常报Too many open files这个错，所以要手动修改这个值。 1、使用ulimit -a可以查看目前服务器的资源限制情况： 其中的open file就是打开的文件数，从中看到可以使用-n进行设置，也可以使用ulimit -n直接查看打开文件数的限制数 2、设置系统root有效的打开文件数限制 vi/etc/security/limits.conf 添加如下内容： 然后运行ulimit -n 131072设置，这是为了在当前会话中生效。 limits.conf在下次登录后就会生效。 ... 阅读全文

摘要： 在mysql里面导出文件的时候，经常要对文件进行转码，linux有很好的转码工具。1、可使用vi命令找到文件的具体编码： vi $filename,在命令模式下使用set encoding，然后回车，可看到文件的具体编码。 另外，通过file命令来显示具体文件编码是不正确的，通过vi这种方式才能获取正确的编码。2、使用piconv命令转码： piconv [-f from_encoding] [-t to_encoding] [-s string] [files...] -f 文件原来的编码； -t 文件要转成的编码； 阅读全文

摘要： 集群重启找不到regionserver问题： 1、安装常规的关闭顺序进行关闭：zookeeper->hbase->hadoop（开启顺序相反）； 2、hbase日志文件问题，可把日志文件备份后重启（可能是日志文件的写锁问题）； 3、zookeeper节点已存在问题，把/data/hbase/tmp/zookeeper目录删除，可解决此问题； 4、regionserver的关闭是由HMaster负责的，因此如果HMaster不正常关闭，regionserver关闭不了，可写脚本远程关闭； 5、pids文件配置在hbase/pids目录下较好，以防jps找不到教程； 6、在shell命 阅读全文

摘要： JVM、GC 阅读全文

摘要： hive-0.8.1非常强大，但是还是很多地方需要完善，本人在是用过程中，遇到一些问题。现在把它们列出来，希望能找到解决方案或者完善的方法； 1、只有进入到相应的数据库后，才能使用desc功能； 2、hive.logs持续报下面的错误，虽然没有影响使用，但是却占了大量的日志，原因已经知道，在找方法解决中： 3、在使用insert overwrite分区的时候，报Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.ex... 阅读全文

摘要： 随着hadoop的升级，hive也升级一下，它的升级比较简单，这次是从hive-0.7.1升级到hive-0.8.1：1、下载新版hive，并解压；2、查看解压文件中的hive-0.8.1\scripts\metastore\upgrade\mysql目录，可以看到有很多升级元数据的脚本，这里使用的是mysql作为元数据存储，所以使用sql脚本升级，改目录下有如下文件：3、查看upgrade-0.7.0-to-0.8.0.mysql.sql，可看到使用里哪些脚本：4、将上图中的两个脚本拷贝到元数据库服务器，并执行，成功后元数据就升级了；ps： 1、在元数据升级之前，在原来的表上执行sql都会. 阅读全文

摘要： 由于要支持hbase0.92.0的一些新特性，需要对现有的hadoop进行升级。升级流程如下： 1、关闭Hbase、Hive service、关闭hadoop集群； 2、执行hadoop dfsadmin -upgradeProgress status，显示There are no upgrades in progress，表示当前没有升级动作； 3、执行hadoop fs -lsr > /usr/local/cluster/namenode.log，执行hadoop fsck / > /usr/local/cluster/fsck.log；生成这个两个文件进行集群升级前后的对比工 阅读全文

摘要： 开博客主要原因是到了一定的工作年限，就想把自己积累的技术和经验给记录下来，形成自己的一个知识库。同时，能够跟业内的技术牛人交流，提高自己的技术水平，此是开博客的主要目的。 希望保持较好的技术心态，深入技术底层，摆脱对bug出现的茫然。 阅读全文