Lhfcws

摘要： 由于Spark自己的调优guidance已经覆盖了很多很有价值的点，因此这里直接翻译一份过来。也作为一个积累。 Spark 调优 (Tuning Spark) 由于大多数Spark计算任务是在内存中运行计算，任何集群中的资源限制都可能成为Spark程序的瓶颈，比如：CPU、网络、带宽、内存。通常情况 阅读全文

摘要： 以前使用 protobuf或protostuff的时候觉得很麻烦，每个类都要单独定制，于是封装了一个类。 同事测试过，性能和压缩率都很好，尤其是相比json的序列化。 需注意：只支持Pojo类（即需要有get/set方法）、对一个新的class第一次调用初始化会有一两百毫秒的register时间，之 阅读全文