Hadoop MapReduce 自定义数据类型

关于自定义数据类型，http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。

在本文中，将给出一个简单的自定义的数据类型例子。我曾使用该自定义的数据类型在HDFS上构建Lucene索引。

package hdfs.document;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.util.HashMap;
import java.util.Iterator;

import org.apache.hadoop.io.Writable;
import org.apache.hadoop.io.WritableUtils;

/*
 * 自定义的一种hadoop输出类型，存储的内容是一个Map<String,String>.
 */
public class HDFSDocument implements Writable{
	HashMap<String,String> fields = new HashMap<String, String>();

	public void setFields(HashMap<String,String> fields){
		this.fields = fields;
	}
	public HashMap<String,String> getFields(){
		return this.fields;
	}

	@Override
	public void readFields(DataInput in) throws IOException {
		fields.clear();

		String key = null, value = null;

		int size = WritableUtils.readVInt(in);
		for (int i = 0; i < size; i ++){
				// 依次读取两个字符串，形成一个Map值
				key = in.readUTF();
				value = in.readUTF();
				fields.put(key,value);
			}
		}
	}

	@Override
	public void write(DataOutput out) throws IOException {
		String key = null, value = null;

		Iterator<String> iter = fields.keySet().iterator();
		while(iter.hasNext()){
			key = iter.next();
			value = fields.get(key);
			
			// 依次写入<Key,Value>两个字符串
			out.writeUTF(key);
			out.writeUTF(value);
		}
	}
}

　　在MapReduce中使用时，设置相应的Map或Reduce的class类型即可。