09 2012 档案

摘要:1.首先需要明白的是将编译后build文件夹目录下的的hadoop-core-0.20.205.1.jar 修改为hadoop-core-0.20.205.0.jar(可以在build.xml文件中修改即可) 并替换所有节点上的share/hadoop/目录下的同名称文件。2.在MapTask.java文件中添加log信息,重新编译后发现输出的log日志中没有变化,其原因暂不了解。3.在hadoop/src目录下,修改saveVersion.sh文件,可以修改编译的作者。4.若是想使用egit来进行版本控制,但是又不能上网,可以离线下载egit包,并且在eclipse中选择help->i 阅读全文
posted @ 2012-09-10 20:27 editice 阅读(432) 评论(0) 推荐(0)
摘要:1.在iterator遍历的时候,没有设置诸如iter=iter.next,也就是说指针一直没有向后移动,造成死循环的问题。2.hadoop 0.20.205.0的版本,其datajoin包需要注意一个maxNumOfValuesPerGroup的参数,这个参数主要是设置对于每一个joinkey其含有的value的数量的最大个数,你需要手动设置好其值,要不然iterator的游标会一直停留在第101个value的位置上而造成死循环。 阅读全文
posted @ 2012-09-08 19:12 editice 阅读(128) 评论(0) 推荐(0)