05 2019 档案

HBase统计表行数(RowCount)的四种方法
摘要:背景: 对于其他数据存储系统来说,统计表的行数是再基本不过的操作了,一般实现都非常简单;但对于HBase这种key-value存储结构的列式数据库,统计 RowCount 的方法却有好几种不同的花样,并且执行效率差别巨大!下面来研究下吧~ 测试集群:HBase1.2.0 - CDH5.13.0 四台 阅读全文

posted @ 2019-05-31 13:50 大数据运维 阅读(18269) 评论(0) 推荐(1)

hadoop常见错误及解决办法整理
摘要:1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修 阅读全文

posted @ 2019-05-29 17:33 大数据运维 阅读(5335) 评论(0) 推荐(0)

HBase最佳实践-内存规划
摘要:线上HBase集群应该如何进行参数配置?这其实是很多HBase初学者在实践环节都可能会遇到的问题,有些人会选择默认配置,有些人会选择其他公司的推荐配置;诚然,这样的参数配置在大多数情况下都能正常工作,但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验,针对不同应用场景,对多种工作模式下 阅读全文

posted @ 2019-05-27 11:30 大数据运维 阅读(657) 评论(0) 推荐(0)

导航