hadoop编程中遇到的小问题

1.在iterator遍历的时候,没有设置诸如iter=iter.next,也就是说指针一直没有向后移动,造成死循环的问题。

 

2.hadoop 0.20.205.0的版本,其datajoin包需要注意一个maxNumOfValuesPerGroup的参数,这个参数主要是设置对于每一个joinkey其含有的value的数量的最大个数,你需要手动设置好其值,要不然iterator的游标会一直停留在第101个value的位置上而造成死循环。

posted @ 2012-09-08 19:12  editice  阅读(131)  评论(0)    收藏  举报