摘要：
利用采样器，mapreducer自动将数据按照从大到小的顺序，根据数据分布的概率，自动分区到不同的区域，之前我们是手动设置分区的范围，将数据分区到不同的分区点击打开链接下面我们采用Hadoop内置类-全排序分区类进行自动分区1、mapper类package com.c... 阅读全文
posted @ 2018-01-08 12:43
crr121
阅读(452)
评论(0)
推荐(0)
摘要：
1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文
posted @ 2018-01-07 18:23
crr121
阅读(156)
评论(0)
推荐(0)
摘要：
1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文
posted @ 2018-01-07 18:23
crr121
阅读(134)
评论(0)
推荐(0)
摘要：
1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文
posted @ 2018-01-05 17:27
crr121
阅读(118)
评论(0)
推荐(0)
摘要：
1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文
posted @ 2018-01-05 17:27
crr121
阅读(105)
评论(0)
推荐(0)
摘要：
错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文
posted @ 2018-01-05 16:03
crr121
阅读(1096)
评论(0)
推荐(0)
摘要：
错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文
posted @ 2018-01-05 16:03
crr121
阅读(356)
评论(0)
推荐(0)
摘要：
启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文
posted @ 2018-01-04 23:24
crr121
阅读(191)
评论(0)
推荐(0)
摘要：
启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文
posted @ 2018-01-04 23:24
crr121
阅读(338)
评论(0)
推荐(0)
摘要：
1、处理序列的mapperpackage com.cr.hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.ha... 阅读全文
posted @ 2018-01-04 21:17
crr121
阅读(117)
评论(0)
推荐(0)
浙公网安备 33010602011771号