摘要: 为充分利用HBase集群的计算性能,计划在HBase上混布MR集群,不过在部署过程中出现很多问题,问题主要集中在配置Cgroup资源隔离方面,在此记录下部署过程及所出现的问题以便回溯。阅读全文
posted @ 2018-07-07 20:46 ballwql 阅读(136) 评论(0) 编辑
摘要: 近来,业务部门因历史原因,希望对现存的图片、对账等历史文件进行改造,由原先的单机存储改成分布式存储便于管理和维护,目前组内也在大力推广HDFS在部门的应用 ,所以在此背景下,调研了目前关于HDFS的文件存储方案,本文会着重从小文件需求入手,分析目前各种现有小文件存储的状况及各自使用的场景。阅读全文
posted @ 2018-05-20 09:40 ballwql 阅读(5803) 评论(0) 编辑
摘要: 业务使用HBase已经有一段时间了,期间也反馈了很多问题,其中反馈最多的是HBase是否支持SQL查询和二级索引,由于HBase在这两块上目前暂不支持,导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL,但业界还是有现成的方案来支持,如Hive、Impala、Phoenix等。众多方案各有各的优势,本文主要对Phoenix作一个大概的介绍。阅读全文
posted @ 2018-01-28 15:16 ballwql 阅读(17209) 评论(2) 编辑
摘要: python正则表达式学习,介绍下常见正则表达式用法阅读全文
posted @ 2017-12-14 19:14 ballwql 阅读(108) 评论(0) 编辑
摘要: HBase数据同步,是指从一个集群同步到另一个集群,一般当机房迁移、扩容新集群和集群升级时需要做数据迁移同步。本文介绍下目前常用的几种数据同步方案阅读全文
posted @ 2017-12-12 19:18 ballwql 阅读(9299) 评论(2) 编辑
摘要: 本文介绍了如何用python解析mysqldump文件,并转换成指定格式阅读全文
posted @ 2017-03-25 18:42 ballwql 阅读(233) 评论(0) 编辑
摘要: java读取Hdfs中的压缩文件阅读全文
posted @ 2017-03-25 11:27 ballwql 阅读(290) 评论(0) 编辑
摘要: java xml文件解析,使用saxreader方法阅读全文
posted @ 2017-02-09 20:32 ballwql 阅读(47) 评论(0) 编辑
摘要: 在生产环境使用HBase过程中,随着数据量的不断增加,查询HBase数据变得越来越慢,对于业务来说是不可用的,需要对读性能进行优化阅读全文
posted @ 2017-02-06 10:05 ballwql 阅读(177) 评论(0) 编辑
摘要: 本文主要介绍一下hbase数据落地方面的一些经验,涉及表rowkey设计和数据入hbase方案阅读全文
posted @ 2017-01-27 15:37 ballwql 阅读(1337) 评论(1) 编辑