Lhfcws

摘要： 关键词：hbase rebalance 负载均衡 参考源码版本：apache-hbase-1.1.2 什么是HBase Rebalance ？ 随着数据写入越来越多以及不均衡，即使一开始每个RegionServer的region数差不多，后期也会出现较为明显的差异现象。如果不做均衡，region过多 阅读全文

摘要： 关键词：hdp , hive , StorageHandler 了解Hive StorageHandler的同学都知道，StorageHandler作为Hive适配不同存储的拓展类，同时肩负着HiveStoragePredicateHandler的角色对相关存储做下推优化，核心方法如下： 核心方法便 阅读全文

摘要： 关键词：hive, debug 本地调试（local debug） Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应 阅读全文

摘要： 关键词：elasticsearch , es , 滚动重启 , 禁止分片 由于之前es GC没有怎么调优，结果今天被大量scroll查询查挂了，GC 卡死了。然后为了先恢复给业务使用，也没什么其他办法，只能重启server。重启的时候傻逼了，忘记了禁止分片，于是起来后集群就在重新做分片迁移了。这里记 阅读全文

摘要： 虽然delay了一个多月才看到，但第一次被一个开源项目正式感谢，开心。 其实写过的很多东西都有机会contr的，只是有些是公司代码。。。 阅读全文

摘要： 在使用一些开源框架的时候（比如spark、hadoop、lucene等），偶尔会见到说找不到某个具体实现类或者某个配置（比如spark的akka配置）不见了。 部分例子如下： 【Lucene】An SPI class of type org.apache.lucene.codecs.Postings 阅读全文

摘要： 关键词：yarn 资源分配 mapreduce spark 简要指南 适合不想看太多原理细节直接上手用的人。 基本原则： container分配的内存不等于机器实际用掉的内存。NM给container分配的内存是预留这么多内存，但实际用多少取决于你的-Xmx加上你的堆外内存。大部分堆外内存使用不多的 阅读全文

摘要： Preparation 假设当前为root用户，并已有jdk1.8环境。 cd /opt/package useradd sealion ElasticSearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse 阅读全文

摘要： 关键词：carbondata spark thrift 数据仓库 【Install thrift 0.9.3】 注意 要装thrift-java必须先装ant 。 有人说要装boost，我在centos6上没有装一样可以运行，猜测可能是c/cpp需要，java/python的不需要 thrift安装 阅读全文

摘要： 关键词：yarn rm mapreduce 提交 Based on Hadoop 2.7.1 JobSubmitter addMRFrameworkToDistributedCache(Configuration conf) ： mapreduce.application.framework.pat 阅读全文