摘要： message与builder 经过protoc编译完的每个message都将有一个对应的类，类的内部通过Builder设计模式进行创建对应的message，而生成的message本身是不可变的。 builder中会为每个字段创建getter和setter，同时可以看到在proto文件中使用小写和下 阅读全文

摘要： 将proto的定义和序列化的数据组成一个对象，在解码时使用message内部存储的proto定义和数据就可以实现proto消息的自解释。 代码 在proto发布的包内自带了descriptor引入该类型组装成如下格式： 然后可以随便定义一个proto类型 下面进行自定义类型的序列化和反序列化： 下面 阅读全文

摘要： protobuf能够跨平台提供轻量的序列化和反序列化，得益于其平台无关的编码格式，本文就介绍下其中的编码格式。 Varints 在protobuf中大量使用到了Varints的编码格式，这是一个可变长度的编码格式用于编码整形数字。 Varint的最小单位是byte，即8位，每byte第一位（msb） 阅读全文

摘要： 简介 proto3是新版本的protobuf语法。它简化了部分语法，并扩大了支持的语言，Ruby、C 。目前谷歌推荐只在是用新支持的语言或使用新的gRPC框架的时候使用。 proto2和proto3不是完全兼容的。这里列出一些proto2与proto3的区别。 proto3 希望编译器使用proto 阅读全文

摘要： proto文件 protobuf的定义是通过proto文件进行定义的，一个标准的类型如下： 其中message定义了类型名字，其中每一个字段有三个选项： required：字段必填。 optional: 字段选填，不填就会使用默认值，默认数值类型的默认值为0，string类型为空字符串，枚举类型为第 阅读全文

摘要： 简介 protobuf是google开源的一个数据序列化与反序列化工具，由于其支持多种语言、各种平台，多被用于对象的存储，远程调用等方向。 用户首先定义对象的结构，根据结构生成对应语言的源码，然后就可以在各种语言中使用protobuf将数据进行序列化和反序列化。 使用 下面是一个简单的使用的例子： 阅读全文

摘要： POI提供了HSSF和XSSF的API可以自JAVA中读取修改ls/xlsx文件，但是自面对大文件时就容易报出OOM，因此提供了接口可以以流式的方式读取/写入xls/xlsx，下面是官方的一张列表，列出了所有的处理excel的方式 可以看到对于xls文件，只支持从大文件流式地读取 对于xlsx文件可 阅读全文

摘要： "之前" 介绍了如何读取较大文件的excel文件，但是都无法进行文件的写入操作，在写大文件的情况下就会出现oom 错误模拟 同之前一样，设置heap大小为100m用于模拟，之后创建简单的方法来创建一个大的xlsx SXSSF POI提供了SXSSF的方式可以流式的创建十分大的xlsx文件，SXSSF 阅读全文

摘要： "上次" 简述了使用poi读取大xls文件，这里说下读取xlsx格式的文件的方法 环境模拟 先准备一个大的excel文件（xlsx大小5M），再将jvm的heap缩小到100m(JVM 参数 Xmx100m)用于模拟OOM 并使用参数在OOM时dump内存 XX:+HeapDumpOnOutOfMe 阅读全文

摘要： 最近需要处理一个比较大的excel文件，但是poi在处理文件时会抛出OOM导致程序崩溃，查看官方文档看到可以以流式的方式读取excel避免读取大文件时的OOM。本文主要记述xls的处理。 环境模拟 先准备一个大的excel文件（xls大小8M），再将jvm的heap缩小到100m(JVM 参数 Xm 阅读全文