2018年9月13日
MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
摘要： 之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop. 阅读全文
posted @ 2018-09-13 21:17 tele 阅读(1978) 评论(4) 推荐(4)
MapReduce 经典案例手机流量排序的分析
摘要： 在进行流量排序之前,先要明白排序是发生在map阶段,排序之后(排序结束后map阶段才会显示100%完成)才会到reduce阶段(事实上reduce也会排序),.此外排序之前要已经完成了手机流量的统计工作,即把第一次mr的结果作为本次排序的输入.也就是说读取的数据格式为 手机号 上行流量 下行流量 总 阅读全文
posted @ 2018-09-13 15:31 tele 阅读(1276) 评论(0) 推荐(0)