摘要: 6月6日,由中国HBase技术社区组织,阿里云主办的中国第一届HBase Meetup将在北京举行,来自阿里、小米、滴滴、360等公司的各位大神会共同探讨HBase2.0的技术革新,HBase在国内各个大型企业内的应用价值,并一起见证中国HBase技术社区成立仪式的历史时刻。主办方阿里云将在线直播此 阅读全文
posted @ 2018-06-06 14:16 HBase技术社区 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 背景 鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据”的读者反馈,对HBase的逆向工程比较感兴趣,并咨询如何使用相应工具进行运维等等。总的来说,就是想更深层理解HBase运维原理,提高运维HBase生产环境的能力,应对各种常见异常现象。不同的读者对hbas 阅读全文
posted @ 2018-05-07 08:54 HBase技术社区 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 常见的HBase新手问题: 什么样的数据适合用HBase来存储? 既然HBase也是一个数据库,能否用它将现有系统中昂贵的Oracle替换掉? 存放于HBase中的数据记录,为何不直接存放于HDFS之上? 能否直接使用HBase来存储文件数据? Region(HBase中的数据分片)迁移后,数据是否 阅读全文
posted @ 2018-04-27 10:04 HBase技术社区 阅读(440) 评论(0) 推荐(0) 编辑
摘要: 摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。 前言 你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到, 阅读全文
posted @ 2018-04-23 08:39 HBase技术社区 阅读(2499) 评论(0) 推荐(0) 编辑
摘要: In-Memory Compaction是HBase2.0中的重要特性之一,通过在内存中引入LSM结构,减少多余数据,实现降低flush频率和减小写放大的效果。本文根据HBase2.0中相关代码以及社区的讨论、博客,介绍In-Memory Compaction的使用和实现原理。 原理 概念和数据结构 阅读全文
posted @ 2018-04-19 09:04 HBase技术社区 阅读(2157) 评论(0) 推荐(0) 编辑
摘要: 本文主要介绍Phoenix索引状态的生命周期,帮助大家解惑“为什么我的phoenix索引不能正常使用了?” 索引状态 索引总共有以下几个状态,其状态信息存储在SYSTEM.CATALOG表中。可以通过以下SQL来查看所有索引表信息: select TABLE_NAME,DATA_TABLE_NAME 阅读全文
posted @ 2018-04-19 09:00 HBase技术社区 阅读(1057) 评论(0) 推荐(0) 编辑
摘要: 摘要: 主要介绍了HBase和Phoenix在滴滴内部的一些典型案例。文章已在CSDN极客头条和《程序员》杂志发表,应朋友邀请,分享到云栖社区,希望给大家带来启发和帮助。 背景 对接业务类型 HBase是建立在Hadoop生态之上的Database,源生对离线任务支持友好,又因为LSM树是一个优秀的 阅读全文
posted @ 2018-04-16 08:06 HBase技术社区 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 摘要: 传统关系型数据库的动态列实现只能依赖逻辑层的设计实现,而Phoenix是HBase上的SQL层,借助HBase特性实现的动态列功能,具有高度的灵活性,告别业务逻辑层的复杂设计。 一、概要 动态列是指在查询中新增字段,操作创建表时未指定的列。传统关系型数据要实现动态列目前常用的方法有:设计表结 阅读全文
posted @ 2018-04-16 08:02 HBase技术社区 阅读(3445) 评论(0) 推荐(0) 编辑
摘要: 摘要: 在传统关系型数据库中设计主键时,自增ID经常被使用。不仅能够保证主键的唯一,同时也能简化业务层实现。Phoenix怎么使用自增ID,是我们这篇文章的重点。 在传统关系型数据库中设计主键时,自增ID经常被使用。不仅能够保证主键的唯一,同时也能简化业务层实现。Phoenix怎么使用自增ID,是我 阅读全文
posted @ 2018-04-16 07:59 HBase技术社区 阅读(2312) 评论(0) 推荐(0) 编辑
摘要: 摘要: 在云HBASE上利用MR BULKLOAD入库PHOENIX表或通过MR构建PHOENIX索引表。 一、MR在Phoenix上的用途 利用MR对Phoenix表(可带有二级索引表)进行Bulkload入库, 其原理是直接生成主表(二级索引表)的HFILE写入HDFS。相对于走API的数据导入 阅读全文
posted @ 2018-04-16 07:55 HBase技术社区 阅读(633) 评论(0) 推荐(0) 编辑