自定义bean对象实现序列化接口

上一个word count的案例中，我们为了理解mapreduce的流程，写了上面的代码。现在我们要把一个实体类序列化。比如现在有这么一个文件，里面的数据格式是这样的：

 

 

 第一列是时间戳，第二列是手机号码，第三列是设备的物理地址，第四列是访问网站的ip地址，第五列是网站域名，第六列是数据包，下一列是接包数，关键是最后三列，上行流量，下行流量，最后一列是状态码。

现在我们要统计每个手机号的上行流量总和，下行流量总和，以及上下行流量总和。在这里我们要用到第二列，倒数第二列，导数第三列数据，这个时候基本类型就无法满足我们的加工要求了，这个时候我们就需要封装一个实体类。

在封装实体类之气那我们要了解一下bean对象序列化的注意事项：

 

 

 这个流程我们整理一下：

map阶段：

1，读取每一行数据，切分字段

2，取手机号，上行流量，下行流量

3，以手机号作为key，在reduce阶段就可以根据可以key统计流量总和，然后以bean对象作为value，这个bean对象包含三个字段：手机号，上行流量，下行流量

reduce阶段：

1，累加同一个手机号的上行总和，下行总和，上下行总和。

2，keyout：vout，手机号：上行综合，下行总和，上下行总和封装到bean，这样我们的bean里面就最少要包含以前字段：手机号，上行流量，下行流量，上下行总和

规划完了，准备开始代码，先建一个phone包，就建在MR下面，然后创建一个实体类：phoneBean，如下：

 

 

 我们先确定要封装的字段，

private String phoneNUmber;
private long upFlow;
private long downFlow;
private long sumFlow;

确定好字段以后，添加一个构造器，这个空参构造一定要有，序列化的时候要用到空参构造

IDEA快捷键：alt+insert，调出空参构造，setter，getter方法，to_string方法也重写一下。由于这个对象要在网络之间传输，需要序列化，就要实现Writable接口，并且重写write和readFidlds方法，统统用快捷键给他加进去，然后重写一下序列化和反序列方法，最后这个Phonebean就是这样：

 

 

package MR.phone;

import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class PhoneBean implements Writable {
    private String phoneNUmber;
    private long upFlow;
    private long downFlow;
    private long sumFlow;
    //反序列化需要用到空参构造
    public PhoneBean() {
    }

    public String getPhoneNUmber() {
        return phoneNUmber;
    }

    public void setPhoneNUmber(String phoneNUmber) {
        this.phoneNUmber = phoneNUmber;
    }

    public long getUpFlow() {
        return upFlow;
    }

    public void setUpFlow(long upFlow) {
        this.upFlow = upFlow;
    }

    public long getDownFlow() {
        return downFlow;
    }

    public void setDownFlow(long downFlow) {
        this.downFlow = downFlow;
    }

    public long getSumFlow() {
        return sumFlow;
    }

    public void setSumFlow(long sumFlow) {
        this.sumFlow = sumFlow;
    }

    @Override
    public String toString() {
        return "PhoneBean{" +
                "phoneNUmber='" + phoneNUmber + '\'' +
                ", upFlow=" + upFlow +
                ", downFlow=" + downFlow +
                ", sumFlow=" + sumFlow +
                '}';
    }
    //重写序列化方法,写成二进制方便网络传输
    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(phoneNUmber);
        out.writeLong(upFlow);
        out.writeLong(downFlow);
        out.writeLong(sumFlow);
    }
    //重写反序列方法,注意序列化和反序列化这个字段顺序要保持一致
    @Override
    public void readFields(DataInput in) throws IOException {
        this.phoneNUmber=in.readUTF();
        this.upFlow=in.readLong();
        this.downFlow=in.readLong();
        this.sumFlow=in.readLong();
    }
}