摘要： Netty的Downstream 和 Upstream 如果一个event从第一个handler传递直到最后一个handler就是 Upstream 相反的如果一个event从最后一个handler传递到第一个handler就是downstream Server端从client端获得一个event，然后upstream 如果server想要发送到client，就是downstream Cl... 阅读全文

摘要： 配置为Daily Rolling格式，需要在hadoop-daemon.sh里面配置export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"INFO,DRFA"}这个影响日志输出。不要修改log4j里面的配置。 阅读全文

摘要： CDH4向eclipse导入会出现一些问题，导致大面积的错误，看上去十分不爽，解决该问题的方法如下。 错误一、An internal error occurred during: "Updating Maven Project".Unsupported IClasspathEntry kind=4maven出现这个问题，解决方法 1.Open you terminal, go to your project folder and do “mvm clean eclipse:eclipse” 2.Right-click on your project, select Mave 阅读全文

摘要： 安装CDH4.2.0遇到的一些问题，记录下来：1、LZO的问题由于CDH4中JobContext由class变为一个interface，所以直接使用原先的lzo的jar包会出现问题，替换为cloudera提供的一个rpm包中的lzo2、codec配置配置core-site.xml<property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec, 阅读全文

摘要： 调试程序，需要找到程序热点，尤其是多线程程序，线程的等待时间，各个耦合系统之间的调用时间都需要仔细的进行监控从而获得系统性能的一个大概了解。　jvisualvm使用起来相当方便，可以进行远程调试，满足最基本的需求。 远程配置：需要在服务器端配置调试选项 java -Djava.rmi.server.hostname=10.73.20.72 -Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.. 阅读全文

摘要： -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005 在java启动时候加入 阅读全文

摘要： g++ -I/usr/local/jdk1.6.0_27/include/ -I/usr/local/jdk1.6.0_27/include/linux/ -I/usr/local/hadoop-1.0.2/src/c++/libhdfs/ -L/usr/local/hadoop-1.0.2/c++/Linux-amd64-64/lib -lhdfs -L/usr/local/jdk1.6.0_27/jre/lib/amd64/ -L/usr/local/jdk1.6.0_27/jre/lib/amd64/server/ -ljvm hdfs_test.c需要将classpath加入。expo 阅读全文

摘要： 接上一篇，接挂载nfs硬盘后，重新启动namenode，以便所有元数据能够顺利写到nfs硬盘中。过程为首先namenode 发现nfs硬盘没有format，先进行format在将fsimage 写入nfs中。在启动过程中发现如下错误： ERROR org.apache.hadoop.hdfs.server.common.Storage: Cannot create lock on /×××/in_use.lockjava.io.IOException: No locks available at sun.nio.ch.FileChannelImpl.lock0(N 阅读全文

摘要： 众所周知 hadoop是一个单点系统，即所谓的spof，所以元数据的保护就是重中之重。目前元数据写两份，分别是本地的磁盘，远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。 NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。 首先下载NFS,网址是http://sourceforge.net/projects/nfs/files/ 选择合适的版本下载。到server和client机器安装。 编辑server主机. 阅读全文

摘要： 做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。所以如果能够通过eclipse进行远程调试将会非常方便与惬意的。 hadoop远程调试十分简单，只需要自己hack很少的代码就可以完成。步骤如下： 首先拷贝$HADOOP_HOME/bin/hadoop 到一个文件如$HADOOP_HOME/bin/hadoop-debug 在最后一行修改，原来的bash代码是else # run it exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_M.. 阅读全文