随笔分类 -  Hadoop

Hadoop-5、排序（Combiner泛谈）
摘要：一、Combiner作用1、combiner最基本是实现本地key的聚合，对map输出的key排序，value进行迭代。如下所示：map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V... 阅读全文

posted @ 2014-05-07 21:21 Ja ° 阅读(277) 评论(0) 推荐(0)

Hadoop-4、Mapred数据去重
摘要：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.ap... 阅读全文

posted @ 2014-05-07 19:57 Ja ° 阅读(261) 评论(0) 推荐(0)

Hadoop-3、Mapred并行思想WordCount
摘要：import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.ap... 阅读全文

posted @ 2014-05-06 20:47 Ja ° 阅读(181) 评论(0) 推荐(0)

Hadoop-2、Mapred初试
摘要：import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.ha... 阅读全文

posted @ 2014-05-05 18:58 Ja ° 阅读(285) 评论(0) 推荐(0)

Hadoop-1、HDFS API简介
摘要：HDFS是一个高度容错的分布式文件系统，为了保证数据的一致性采用“写入一次，多次读取”的方式。1、上传本地文件import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class CopeFile { public static void main(String[] arg... 阅读全文

posted @ 2014-04-04 16:25 Ja ° 阅读(373) 评论(0) 推荐(0)

导航