摘要:为充分利用HBase集群的计算性能,计划在HBase上混布MR集群,不过在部署过程中出现很多问题,问题主要集中在配置Cgroup资源隔离方面,在此记录下部署过程及所出现的问题以便回溯。 阅读全文
posted @ 2018-07-07 20:46 ballwql 阅读 (216) 评论 (0) 编辑
摘要:近来,业务部门因历史原因,希望对现存的图片、对账等历史文件进行改造,由原先的单机存储改成分布式存储便于管理和维护,目前组内也在大力推广HDFS在部门的应用 ,所以在此背景下,调研了目前关于HDFS的文件存储方案,本文会着重从小文件需求入手,分析目前各种现有小文件存储的状况及各自使用的场景。 阅读全文
posted @ 2018-05-20 09:40 ballwql 阅读 (8629) 评论 (1) 编辑
摘要:业务使用HBase已经有一段时间了,期间也反馈了很多问题,其中反馈最多的是HBase是否支持SQL查询和二级索引,由于HBase在这两块上目前暂不支持,导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL,但业界还是有现成的方案来支持,如Hive、Impala、Phoenix等。众多方案各有各的优势,本文主要对Phoenix作一个大概的介绍。 阅读全文
posted @ 2018-01-28 15:16 ballwql 阅读 (26435) 评论 (2) 编辑
摘要:python正则表达式学习,介绍下常见正则表达式用法 阅读全文
posted @ 2017-12-14 19:14 ballwql 阅读 (121) 评论 (0) 编辑
摘要:HBase数据同步,是指从一个集群同步到另一个集群,一般当机房迁移、扩容新集群和集群升级时需要做数据迁移同步。本文介绍下目前常用的几种数据同步方案 阅读全文
posted @ 2017-12-12 19:18 ballwql 阅读 (12990) 评论 (2) 编辑
摘要:本文介绍了如何用python解析mysqldump文件,并转换成指定格式 阅读全文
posted @ 2017-03-25 18:42 ballwql 阅读 (486) 评论 (0) 编辑
摘要:java读取Hdfs中的压缩文件 阅读全文
posted @ 2017-03-25 11:27 ballwql 阅读 (409) 评论 (0) 编辑
摘要:java xml文件解析,使用saxreader方法 阅读全文
posted @ 2017-02-09 20:32 ballwql 阅读 (62) 评论 (0) 编辑
摘要:在生产环境使用HBase过程中,随着数据量的不断增加,查询HBase数据变得越来越慢,对于业务来说是不可用的,需要对读性能进行优化 阅读全文
posted @ 2017-02-06 10:05 ballwql 阅读 (207) 评论 (0) 编辑
摘要:本文主要介绍一下hbase数据落地方面的一些经验,涉及表rowkey设计和数据入hbase方案 阅读全文
posted @ 2017-01-27 15:37 ballwql 阅读 (1511) 评论 (1) 编辑