摘要：背景：我司作为某运营商公司的技术咨询公司，发现有第三方开发公司在使用HBase 1.1.2 （HDP 2.4.2.258版本）一段时间使用正常后，从某一天开始报OOM，从而导致RegionServer宕机。 故障排查步骤 至此，故障已被成功排查。对于咨询团队来说，主要的任务已经完成了。 FATAL 阅读全文

摘要：由于Spark自己的调优guidance已经覆盖了很多很有价值的点，因此这里直接翻译一份过来。也作为一个积累。 Spark 调优 (Tuning Spark) 由于大多数Spark计算任务是在内存中运行计算，任何集群中的资源限制都可能成为Spark程序的瓶颈，比如：CPU、网络、带宽、内存。通常情况 阅读全文

摘要：以前使用 protobuf或protostuff的时候觉得很麻烦，每个类都要单独定制，于是封装了一个类。 同事测试过，性能和压缩率都很好，尤其是相比json的序列化。 需注意：只支持Pojo类（即需要有get/set方法）、对一个新的class第一次调用初始化会有一两百毫秒的register时间，之 阅读全文

摘要：Python 的日期操作真是无力吐槽。 如果在做日期相加减时使用TimeDelta对象，2.7及以后的TimeDelta有total_seconds()方法获取总秒数，而2.6之前没有该方法，且众所周知大多数非python开发的服务器上运行的python版本多半是centos自带的2.6. 因此提供 阅读全文

摘要：Spark 1.x 爆内存相关问题汇总及解决 OOM # 包括GC Overhead limitjava.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monito 阅读全文