protobuf那些事

大家好,俺又来写博客了.......上次剧情预告说,这次会写hive的博客.......好吧,那俺就不打算写hive了.......老码农路子就是要野(本人不老,不能说得影响了找女票)......这次咱们玩什么呢,我之前就看重了一个比较好玩的小玩意儿,那就是来自google的技术,protobuf.

上次的博客我看了之后很失望啊,阅读数并不高....我在想是不是大家对hadoop之类的并不感兴趣,所以就先换换口味吧.Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

ok,这就是protubuf的一些比较抽象的介绍,不过简单地说,protobuf其实就是一种数据传输的格式,事实上,我们需要知道pb这种格式用来传输数据到底会给我们带来如何的好处.我们可以拿pb格式和json做对比.其实json这种数据传输的格式大家应该非常熟悉.但是json有什么不好的呢,首先json大,json格式是字符串形式,和压缩为二进制的pb格式肯定是要来的大的.此外,json很坑,因为需要对不同的语言编写json解析的程序.......php和python自然可以比较轻松的解析,java就坑了.......而且这些解析器的性能并一致,有好有坏.pb因为是大厂的技术嘛,人家搞一个编译器,编译为c++,java,python的解析代码,不就搞定了.......好吧,大厂技术就是雄厚.......我等也只能仰望.....(老子要是有时间,也去写一个)....

废话不多说,直接搞起来.首先,你要去下载pb的tar包.至于安装包在哪里,少年郎,去google上找吧........我装的是2.6.1版,安装非常简单.

1 tar zxvf protobuf-2.6.1.tar.gz
2  cd protobuf-2.6.1
3 ./configure
4 make
5 make check
6 make install

这个编译的过程依旧是无比的漫长.......很怀念大一的时候,写个hello world,一秒不到就编译完成,然后很快就能输出结果的那种快乐的时光.........人的一生就是在等待中度过,等待一个可以白头到老的人,等待一份可以吃饱饭的工作,等待有一天,能够成为想成为的那个人.......其实等待是因为有希望,没有希望,等待似乎就没有意义了......所以,我一直在想,女票是会有的,饭也可以吃饱的,人不能没有希望........

ok,我们安装完了,来看看有没有安装上吧......

1 protoc --version

返回:libprotoc 2.6.1. 这样,就安装成功了.

然后我们怎么用这个工具呢?

  1. 首先,我们要做的是,定义一套.proto格式的消息的定义文件.我们在具体的使用中来慢慢来港如何书写这个proto缀的文件.
1 message student{
2     required int64 sid = 1;//学生id
3     required string name = 2;//学生姓名
4 }

  这里面我们发现:

  • message类似于C里面的struct,表示我们定义的是一个消息类型.
  • studeng是具体的类型名称.
  • required是表示这个字段是必须赋值的.
  • int64和string是该字段的类型.
  • =后面的数字表示是该字段在二进制文件中的序号,name为2,表示它一定在sid的后面.

  现在我们如果想要加上一个性别的字段和年龄的字段,性别的字段是enum类型.年龄类型是int32,怎喵加呢?很简单.

 1 enum Sex{
 2     MALE = 1;
 3     FEMALE = 2;
 4 }
 5 
 6 message Student{
 7     required int64 sid = 1;//学生id
 8     required string name = 2;//学生姓名
 9     optional Sex sex = 3; //学生性别
10     optional int32 age = 4;//学生年纪
11 }

  easy啊.等等,现在我们又有一个消息,比如我们有个班级的消息,希望能够列出里面每个学生的这些基本信息,怎么搞呢?

  首先,我们需要定义一个班级的消息.

1 message Banji{
2     required int64 cid = 1;//班级的id
3     required string cname = 2;//班级的编号
4     repeated Student students = 3;//学生
5 }

  这里我们要注意几个点:

  • required前缀表示该字段为必要字段,既在序列化和反序列化之前该字段必须已经被赋值。与此同时,在Protocol Buffer中还存在另外两个类似的关键字,optional和repeated,带有这两种限定符的消息字段则没有required字段这样的限制。
  • 标签值为1到15的字段在编码时可以得到优化,既标签值和类型信息仅占有一个byte.标签范围是16到2047的将占有两个bytes,而ProtocolBuffer可以支持的字段数量则为2的29次方减一。有鉴于此,我们在设计消息结构时,可以尽可能考虑让repeated类型的字段标签位于1到15之间,这样便可以有效的节省编码后的字节数量。
  • 在每个消息中必须至少留有一个required类型的字段.
  • 如果打算在原有消息协议中添加新的字段,同时还要保证老版本的程序能够正常读取或写入,那么对于新添加的字段必须是optional或repeated。道理非常简单,老版本程序无法读取或写入新增的required限定符的字段。
  • 在原有的消息中,不能移除已经存在的required字段,optional和repeated类型的字段可以被移除,但是他们之前使用的标签号必须被保留,不能被新的字段重用。
  • int32、uint32、int64、uint64和bool等类型之间是兼容的,sint32和sint64是兼容的,string和bytes是兼容的,fixed32和sfixed32,以及fixed64和sfixed64之间是兼容的,这意味着如果想修改原有字段的类型时,为了保证兼容性,只能将其修改为与其原有类型兼容的类型,否则就将打破新老消息格式的兼容性。

  这里还有一个问题,Banji这个消息要用到Student的定义,我们可以回忆一下java中的处理方式,这种互相定义之间的依赖可以用package和import来解决.这样,我们可以给出完整的.proto的定义方式:

  test.student.proto

package test;
option java_package = "com.songfy.pb";
option java_outer_classname = "StudentProtobuf";
enum Sex{
        MALE = 1;
        FEMALE = 2;
}

message Student{
        required int64 sid = 1;//学生id
        required string name = 2;//学生姓名
        optional Sex sex = 3; //学生性别
        optional int32 age = 4;//学生年纪
}

  test.banji.proto

1 import "test.student.proto";
2 package test;
3 option java_package = "com.songfy.pb";
4 option java_outer_classname = "BanjiProtobuf";
5 message Banji{
6         required int64 cid = 1;//班级的id
7         required string cname = 2;//班级的编号
8         repeated Student students = 3;//学生
9 }

ok,这样我们就把我们的消息类型定义好了....那么如何写代码呢?下面我们细细道来.

  2.编译.proto

      我们这里用java来做示例,C++也成,但是还是java稍微方便一下,大家可以用C++试一试,python呢就算了,俺不太会python,也没有兴趣去学,个人喜好,勿喷,嗯,就这样.ok,那现在我们就来编译这个玩意儿.

1 protoc --java_out="/usr/home/feng/protos/src" test.banji.proto test.student.proto 

  吊炸天,瞬间产生了1000多行代码,来自google的技术,四国一!

  不过现在问题来了,这代码怎么用?这代码看都看不懂,怎么用呢?不要惊慌,一定不要惊慌.......先靠到你的elipse再说....然后你就会发现一大堆的错误......嗯........

  这个解决的方法很简单,将protobuf-java-2.6.1.jar下载下来,加入到我们的path中,那我们的问题就都解决了.

  接下来,我们来看看如何写代码.嗯,终于到了写代码的时候了........

  

 1 package com.songfy.pb;
 2 
 3 import java.io.FileInputStream;
 4 import java.io.FileOutputStream;
 5 import java.io.IOException;
 6 import java.util.ArrayList;
 7 import java.util.List;
 8 
 9 import com.songfy.pb.BanjiProtobuf.Banji;
10 import com.songfy.pb.StudentProtobuf.Sex;
11 import com.songfy.pb.StudentProtobuf.Student;
12 
13 public class Main {
14 
15     public static void main(String[] args) throws IOException {
16         
17         //获取student的build sb
18         Student.Builder sb = Student.newBuilder();
19         //加入两个学生
20         sb.setSid(110);
21         sb.setName("shuaiguo");
22         sb.setSex(Sex.MALE);
23         sb.setAge(11);
24         
25         List<Student> list = new ArrayList<Student>();
26         list.add(sb.build());
27         
28         sb = Student.newBuilder();
29         sb.setSid(119);
30         sb.setName("lilei");
31         sb.setSex(Sex.FEMALE);
32         sb.setAge(20);
33         
34         list.add(sb.build());
35         
36         //产生一个班级
37         Banji.Builder bb = Banji.newBuilder();
38         bb.setCid(13);
39         bb.setCname("dafengqi");
40         bb.addAllStudents(list);
41         
42         //刷入到文件中
43          FileOutputStream fos = new FileOutputStream("C:/Users/songfy/Desktop/test.protoout");
44          bb.build().writeTo(fos);
45          fos.close();
46          
47          //从文件读回
48          Banji bb1 = Banji.parseFrom(new FileInputStream("C:/Users/songfy/Desktop/test.protoout"));
49          System.out.println(bb1.getCid() + "\t" + bb1.getCname());
50          for(Student s: bb1.getStudentsList()){
51              System.out.println(s.getSid() + "\t" + s.getName() + "\t" + s.getSex() + "\t" + s.getAge());
52          }
53 
54     }
55 
56 }

这就是我们代码了,似乎非常easy啊........

这样,我们可以看到输出结果为:

13 dafengqi
110 shuaiguo MALE 11
119 lilei FEMALE 20

 

这正是我们想要的,这次的博客时间就到此为止了,我们下次再见........2333333......2333333.......

 

posted @ 2015-08-15 15:39  逝雪  阅读(3625)  评论(0编辑  收藏  举报