hadoop编程中遇到的小问题
1.在iterator遍历的时候,没有设置诸如iter=iter.next,也就是说指针一直没有向后移动,造成死循环的问题。
2.hadoop 0.20.205.0的版本,其datajoin包需要注意一个maxNumOfValuesPerGroup的参数,这个参数主要是设置对于每一个joinkey其含有的value的数量的最大个数,你需要手动设置好其值,要不然iterator的游标会一直停留在第101个value的位置上而造成死循环。
1.在iterator遍历的时候,没有设置诸如iter=iter.next,也就是说指针一直没有向后移动,造成死循环的问题。
2.hadoop 0.20.205.0的版本,其datajoin包需要注意一个maxNumOfValuesPerGroup的参数,这个参数主要是设置对于每一个joinkey其含有的value的数量的最大个数,你需要手动设置好其值,要不然iterator的游标会一直停留在第101个value的位置上而造成死循环。