10 2017 档案

HDP Hive StorageHandler 下推优化的坑
摘要：关键词：hdp , hive , StorageHandler 了解Hive StorageHandler的同学都知道，StorageHandler作为Hive适配不同存储的拓展类，同时肩负着HiveStoragePredicateHandler的角色对相关存储做下推优化，核心方法如下： 核心方法便 阅读全文
posted @ 2017-10-31 16:00 Lhfcws 阅读(1431) 评论(0) 推荐(0)
Hive 本地调试方法
摘要：关键词：hive, debug 本地调试（local debug） Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应 阅读全文
posted @ 2017-10-31 15:50 Lhfcws 阅读(3400) 评论(0) 推荐(0)
Elasticsearch 滚动重启 必读
摘要：关键词：elasticsearch , es , 滚动重启 , 禁止分片 由于之前es GC没有怎么调优，结果今天被大量scroll查询查挂了，GC 卡死了。然后为了先恢复给业务使用，也没什么其他办法，只能重启server。重启的时候傻逼了，忘记了禁止分片，于是起来后集群就在重新做分片迁移了。这里记 阅读全文
posted @ 2017-10-26 13:28 Lhfcws 阅读(1171) 评论(0) 推荐(0)