2017年9月4日
maprduce 中reduce数量
摘要： 在hadoop 默认的是hashpartitioner,简单的例子是用hashcode除以numPartitions的数量,这样在数据均匀的前提下,数据可以被均匀的分到每个reduce中. 还有一种情况是不按照numPartitions而是根据业务来判断的,比如按照订单的类别,将同一类别的订单数据发 阅读全文
posted @ 2017-09-04 16:39 牵牛花 阅读(225) 评论(0) 推荐(0)
Mapreduce 进阶
摘要： 场景描述 订单需要封装成为一个bean 传入reduce,然后实现排序取出top1,或者分组求和 首先要实现排序就要实现comparable接口 要实现分组top1,那么"相同的bean"要到同一个reduce中去,要实现自定义partitioner 到了同一个分区之后 "相同的bean"要redu 阅读全文
posted @ 2017-09-04 15:36 牵牛花 阅读(170) 评论(0) 推荐(0)
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io .nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
摘要： 首先,遇到这个问题的一个原因是windows环境中没有配置hadoophome.配置之后加入winutils工具 第二个原因,pom中执行的hadoop的版本与window环境中的hadoop的版本不一致 阅读全文
posted @ 2017-09-04 13:20 牵牛花 阅读(1628) 评论(0) 推荐(0)