Lhfcws

摘要： 背景 Selenium 是一个Web自动化测试的组件，可基于WebDriver去控制弹出浏览器去做一系列Web点击或行为测试（当然也可以去做一些邪恶的事。。），减少重复人工网页测试的开销。BrowserMobProxy相当于一层代理，它配合Selenium使用可以在Selenium控制浏览器访问之前 阅读全文

摘要： 吐槽一下，苹果的质量管控越来越差了。 macOS Sierra有时突然或升级后会遇到wifi不停重连连不上问题，现象为不停地连接wifi。 网上有人说删除 /Library/Preferences/SystemConfiguration 下的相关配置就可以了，有的说只需要删除bluetooth那个， 阅读全文

摘要： As we all know , up to Spark 1.6.2, JavaSparkContext only provides two kinds of accumulators: Integer and Double. However, unfortunately I've met with 阅读全文

摘要： 背景 某天凌晨四点左右，HBase RegionServer 宕机自动拉起，查看日志发现是HDFS 在进行HA切换，15次重试仍连不上可写的active，于是挂了。所以根本问题是hdfs。 日志定位 通过日志定位，发现JournalNode一直在抛错，几乎打满了日志： 该链接CDH专家表示 ([So 阅读全文

摘要： S3_REQUEST_LINE (?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})S3_ACCESS_LOG %{WORD:owner} %{NOTSPACE:bucket} 阅读全文

摘要： 背景：我司作为某运营商公司的技术咨询公司，发现有第三方开发公司在使用HBase 1.1.2 （HDP 2.4.2.258版本）一段时间使用正常后，从某一天开始报OOM，从而导致RegionServer宕机。 故障排查步骤 至此，故障已被成功排查。对于咨询团队来说，主要的任务已经完成了。 FATAL 阅读全文

摘要： 由于Spark自己的调优guidance已经覆盖了很多很有价值的点，因此这里直接翻译一份过来。也作为一个积累。 Spark 调优 (Tuning Spark) 由于大多数Spark计算任务是在内存中运行计算，任何集群中的资源限制都可能成为Spark程序的瓶颈，比如：CPU、网络、带宽、内存。通常情况 阅读全文

摘要： 以前使用 protobuf或protostuff的时候觉得很麻烦，每个类都要单独定制，于是封装了一个类。 同事测试过，性能和压缩率都很好，尤其是相比json的序列化。 需注意：只支持Pojo类（即需要有get/set方法）、对一个新的class第一次调用初始化会有一两百毫秒的register时间，之 阅读全文

摘要： Python 的日期操作真是无力吐槽。 如果在做日期相加减时使用TimeDelta对象，2.7及以后的TimeDelta有total_seconds()方法获取总秒数，而2.6之前没有该方法，且众所周知大多数非python开发的服务器上运行的python版本多半是centos自带的2.6. 因此提供 阅读全文

摘要： Spark 1.x 爆内存相关问题汇总及解决 OOM # 包括GC Overhead limitjava.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monito 阅读全文