2014年9月26日
hadoop Partiton中的字符串Hash函数改进
摘要： 最近的MapReduce端的Partition根据map生成的Key来进行哈希，导致哈希出来的Reduce端处理任务数量非常不均匀，有些Reduce端处理的数据量非常小（几分钟就执行完成，而最后的part-结果显示其输出文件为0，没有处理任何任务），而有些Reduce端需要执行大量的任务（... 阅读全文
posted @ 2014-09-26 22:25 clamaa 阅读(455) 评论(0) 推荐(0) 编辑