MapReduce的应用

一个对MapReduce的应用

   

 1、一个简单的统计每个字符数量

   package sample; public class SimpleWordCounter { /* count()メソッドで指定された文字列内で各英字が何回 使われているかを保存する配列 */ private int[] charCount = new int[128]; /* 指定された文字列内で各英字が何回使われているかを 計算するメソッド */ public void count(String target) { charCount = new int[128]; byte[] bs = target.getBytes(); for (byte b : bs) { int index = (int)b; charCount[index]++; } } /* 指定された英字がcount()メソッドで指定された文字列内で 使われている数を返すメソッド */ public int getCharCount(char c) { int index = (int)c; return charCount[index]; } //サンプル public static void main(String[] args) { SimpleWordCounter app = new SimpleWordCounter(); app.count("abcaba"); // "abcaba" に対してカウント処理を実行 System.out.println("a:"+app.getCharCount('a')); System.out.println("b:"+app.getCharCount('b')); System.out.println("c:"+app.getCharCount('c')); } }

   图示：

  

    执行结果是：

    a:3 b:2 c:1

 

    2、采取MapReduce模型处理该问题

    MapReduce模型实例

   

    2.1  MapReduceCharCounterAPP类

    public class MapReduceCharCounterApp { public static void main(String[] args) { MapReduceCharCounter app = new MapReduceCharCounter(); app.count("abcaba"); System.out.println("a:"+app.getCharCount('a')); System.out.println("b:"+app.getCharCount('b')); System.out.println("c:"+app.getCharCount('c')); } }

 

    2.2

    public class MapEntry implements Comparable<MapEntry> { public char key; public int value; public MapEntry(char k, int v) { key = k; value = v; } @Override public int compareTo(MapEntry e) { return e.key - key; } @Override public boolean equals(Object o) { return (o != null) && (o instanceof MapEntry) && (((MapEntry)o).key == key); } @Override public int hashCode() { return key; } }

   

 

    2.3  MapTask

    public class MapTask { // 指定された文字列から生成されるEntryのリスト public java.util.List<MapEntry> list = new java.util.LinkedList<MapEntry>(); public void execute(String target) { byte[] bs = target.getBytes(); for (byte b : bs) { // このサンプルでは、どの文字も同じ値 1を与える MapEntry entry = new MapEntry((char) b, 1); list.add(entry); } } }

 

    2.4  ReduceTask

    import java.util.LinkedList; import java.util.List; public class ReduceInput { public char key; public List<MapEntry> list = new LinkedList<MapEntry>(); }

    图示：

   

 

    2.5  ReduceInputListFactory

    import java.util.LinkedList; import java.util.List; public class ReduceInputListFactory { public static List<ReduceInput> createInstance( List<MapEntry> list) { List<ReduceInput> instance = new LinkedList<ReduceInput>(); MapEntry current = null; ReduceInput ri = null; for (MapEntry e : list) { if (!e.equals(current)) { current = e; ri = new ReduceInput(); ri.key = e.key; instance.add(ri); } ri.list.add(e); } return instance; } }

    图示：

  

    2.6 

    import java.util.List; public class MapReduceCharCounter { public static int[] charCount = new int[128]; public static void emit(ReduceInput input, int count) { charCount[input.key] = count; } public void count(String target) { charCount = new int[128]; MapTask map = new MapTask(); map.execute(target); java.util.Collections.sort(map.list); ReduceTask rt = new ReduceTask(); List<ReduceInput> inputList = ReduceInputListFactory.createInstance(map.list); for (ReduceInput input : inputList) { rt.execute(input); } } public int getCharCount(char c) { int index = (int)c; return charCount[index]; }

 

执行后，图示。

 

 

 

转自：http://www.atmarkit.co.jp/fjava/special/distributed01/distributed01_1.html