摘要： 转帖：OSX 10.9 几天用下来还是遇到几处问题的：之前先是遇到了OSX Mavericks GM598无法从Appstore升级到完全正式版的问题，下载无反应，后来找到了解决方法，发在以下链接：http://bbs.feng.com/read-htm-tid-7161018.html之后又遇到Synergy不能启动服务的问题，Synergy可是神器哦，多台电脑间跨系统支持键盘和鼠标的共享，wi... 阅读全文

摘要： 有些时候集群中的机器无法联网，通过yum进行安装，这样就需要找一个相同内核的机器将rpm下载后再到相应的机器上进行安装，以解决这一问题。 yum 有相应的工具完成这一任务。 1、首先安装yum-downloadonly。 yum install yum-downloadonly 2、如果是新安装，使用命令 yum instal... 阅读全文

摘要： 相对于1.x版本的Hadoop，2.x版本的Hadoop采用了Protocol Buffer作为序列化反序列化工具，以及RPC通讯工具。这样当我们对Hadoop源码进行修改之前，就需要了解Hadoop 2.x的代码结构和修改方法。 几个结构，以DatanodeProtocol举列子： DatanodeProtocol.java 还像1.x一样只是一个接口，NameNode继承这... 阅读全文

摘要： Hadoop 滚动升级非常方便，只需要在配置中增加一些选项就可以通过Hadoop自身的代码进行完成。步骤：1、首先到需要升级的NameService的Active NameNode上面，比如我们10.39.2.131是ns1的Active NameNode。2、新增加的配置：dfs.ha.fencing.methodsshell(/bin/true)3、在ActiveNameNode上面使用命... 阅读全文

摘要： 1.SNN CheckPoint的处理流程配置中配置做CheckPoint的两个条件，一个是文件大小editlog大于多大就做，另一个是时间维度，多长时间做一次。(1)SNN首先检查是否需要进行checkpoint操作，如果上面两个条件任何一个满足了就可以(2)通过RPC 向NameNode发送请求，rollEditLog()NameNode关闭现在的edit的stream，同时生成一个edit.... 阅读全文

摘要： InputFormat有两个抽象方法： getSplits createRecordReader InputSplits 将数据按照Split进行切分，一个Split分给一个task执行。 RecordReader 在Task中将Split按照key value进行切分，每个RecordReader切分的数据都给map方法执行一遍。 RecordReader三个抽象方法： ini... 阅读全文

摘要： 转入hadoop2.0后，逐渐忘记了之前做testcase运行的方法，记录一下： ant -Dtestcase=Test*** 如果只运行core包得testcase可以 ant -Dtestcase=Test*** test-core 查看target运行 ant -p 阅读全文

摘要： 1.安装protobuf，参照http://wiki.apache.org/hadoop/HowToContribute 安装java模块 在java目录mvn install 2.配置protobuf com.google.protobuf protobuf-java 2.5.0 //加上版本号，否则找不到包 3,在源文件目录执行 mvn clean i... 阅读全文

摘要： 首先搞到lzo在github https://github.com/cloudera/hadoop-lzo/ ant package 对应的机器上把build目录下的native压缩，传给所有机器 把jar包传给所有机器相应目录 阅读全文

摘要： CompositeService 多个service封装，service定义了状态机状态改变的合法情况。 重要的方法是（子类需要实现的）：serviceStart,serviceInit,serviceStop 里面的服务有: Dispatcher,ClientRMService,ApplicationMasterService,AplicationMasterLauncher,AdminS... 阅读全文