Lhfcws

摘要： 如在scan hbase的时候见到如上报错，核心是，你某两次scan的触发的间隔时间过长。因此就得从两个部分寻找原因： 1. 是否你自己每次的scan处理较耗时？ -> 优化处理程序，scan一些设置调优（比如setBlockCache(false) ） 2. 是否每次scan的caching设置过 阅读全文

摘要： 关键词：hbase jvm gc regionserver wal pause 背景： HBase 1.1.2 客户的hbase集群最近出现RegionServer宕机情况。跟踪了master和RS日志发现，RS端抛出在做wal flush的时候，找不到 /apps/hbase/data/WALs/ 阅读全文

摘要： 假设要用develop覆盖master分支，如下操作 阅读全文

摘要： Spark 可以放到yarn上面去跑，这个毫无疑问。当Yarn做了HA的时候，网上会告诉你基本Spark测不需做太多的关注修改，实际不然。 除了像spark.yarn开头的相关配置外，其中一个很重要的坑是spark-yarn依赖包的Hadoop版本问题。Spark1.6.x的spark-yarn默认 阅读全文

摘要： Assuming that groovy codes are in src/main/groovy and java codes are in src/main/java. We can use 2 maven-compiler-plugin to compile groovy and java, 阅读全文

摘要： Assuming you have sudo/root permission. Try rpmforge-extras first. If you did not have rpmforge-extras, try manual installation. Reference: http://sta 阅读全文

摘要： An exception occured while performing the indexing job : java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce 阅读全文

摘要： Keywords: Groovy, Reflection, 反射 The Reflection of Groovy String constant style method. Groovy支持以下的方法定义： Groovy是继承Java的机制的，而Java显然是不支持这种函数定义命名的。然而实际上， 阅读全文

摘要： 关键词：SQL优化 , sargable , pushdown filter , predicate pushdown Sargable Sargable = Search ARGument ABLE ，即SQL中可利用数据库自身索引优势对查询条件进行执行性能优化。换句话说，即可以利用存储层的索引优 阅读全文

摘要： SparkStreaming开启了checkpoint wal后有时会出现如上报错，但不会影响整体程序，只会丢失报错的那个job的数据。其根本原因是wal文件被删了，被sparkstreaming自己的清除机制删掉了。通常意味着一定程度流式程序上存在速率不匹配或堆积问题。 查看driver日志可发现 阅读全文