会员
商店
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Technologies Kingdom
无境界
博客园
首页
新随笔
联系
订阅
管理
2008年12月6日
(转载)Hadoop常用SDK系列五 TotalOrderPartitioner
摘要: 在0.19.0以前的版本中,Hadoop自身并没有提供全排序的solution,如果使用缺省的partitioner(HashPartitioner)每个reducer的输出自身是有序的,但是多个reducer的输出文件之间不存在全序的关系;如果想实现全排序,需要自己实现Partitioner,比如针对key为Mac地址的Partitioner,如假定Mac地址的分布是均匀的,可以根据Mac地址的...
阅读全文
posted @ 2008-12-06 12:47 彭帅
阅读(3042)
评论(0)
推荐(0)
编辑