06 2017 档案

HBase scan 时 异常 ScannerTimeoutException 解决
摘要：如在scan hbase的时候见到如上报错，核心是，你某两次scan的触发的间隔时间过长。因此就得从两个部分寻找原因： 1. 是否你自己每次的scan处理较耗时？ -> 优化处理程序，scan一些设置调优（比如setBlockCache(false) ） 2. 是否每次scan的caching设置过 阅读全文
posted @ 2017-06-29 11:00 Lhfcws 阅读(3525) 评论(0) 推荐(0)
HBase RegionServer Pause for hours 卡顿几小时 故障
摘要：关键词：hbase jvm gc regionserver wal pause 背景： HBase 1.1.2 客户的hbase集群最近出现RegionServer宕机情况。跟踪了master和RS日志发现，RS端抛出在做wal flush的时候，找不到 /apps/hbase/data/WALs/ 阅读全文
posted @ 2017-06-22 13:55 Lhfcws 阅读(783) 评论(0) 推荐(0)
git 强制覆盖分支
摘要：假设要用develop覆盖master分支，如下操作 阅读全文
posted @ 2017-06-16 14:08 Lhfcws 阅读(1370) 评论(0) 推荐(0)
Spark on Yarn with HA
摘要：Spark 可以放到yarn上面去跑，这个毫无疑问。当Yarn做了HA的时候，网上会告诉你基本Spark测不需做太多的关注修改，实际不然。 除了像spark.yarn开头的相关配置外，其中一个很重要的坑是spark-yarn依赖包的Hadoop版本问题。Spark1.6.x的spark-yarn默认 阅读全文
posted @ 2017-06-02 11:37 Lhfcws 阅读(840) 评论(0) 推荐(0)