摘要:本文主要介绍在压测HBase的二级索引phoenix时踩的一个坑,使用时需要特别注意,而且背后的原因也很有意思,可以看出HBase和Phoenix对元数据设计上的差异。 1.问题介绍 在做phoenix压测时发现一个奇怪的现象。 压测请求分布非常均匀,但是有一台机器的流量、负载都明显高于其他机器。 阅读全文
posted @ 2020-05-21 09:19 阿丸 阅读(130) 评论(0) 推荐(0) 编辑
摘要:Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs对HBase数据进行增删改查,构建二级索引。当然,开源产品嘛,自然需要注意“避坑”啦,阿丸会把使用方式和最佳实践都告诉你。 1.什么是Phoenix Phoenix完全使用Java编写,将SQL查询转换为一个或多个H 阅读全文
posted @ 2020-05-18 14:00 阿丸 阅读(27) 评论(0) 推荐(0) 编辑
摘要:HBase一个令人惋惜的地方,就是不支持二级索引。因此,社区有了很多补充方案来填补HBase的二级索引能力的缺陷。 今天,我们就来看看有哪些二级索引方案,通过对比各个方案的优缺点,并结合我们的具体场景做出二级索引方案选型。 1.为什么需要二级索引 HBase系统单纯从解决大数据实时读写问题角度出发, 阅读全文
posted @ 2020-05-15 09:10 阿丸 阅读(15) 评论(0) 推荐(0) 编辑
摘要:在HBase1.1.0发布之前,HBase同一集群上的用户、表都是平等的,大家平等共用集群资源。容易碰到两个问题: 一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行 二是有些业务QPS常常很高,占用大量系统资源,导致其他业务无法正常运转。 这是典型的多租户问题。因此, 阅读全文
posted @ 2020-05-13 10:02 阿丸 阅读(159) 评论(1) 推荐(1) 编辑
摘要:在之前学习MySQL的时候,我们知道存储引擎常用的索引结构有B+树索引和哈希索引。 而对HBase的学习,也离不开索引结构的学习,它使用了一种LSM树((Log-Structured Merge-Tree))的索引结构。 下面,我们就结合HBase的实现,来深入了解HBase的核心数据结构与算法,包 阅读全文
posted @ 2020-05-05 22:21 阿丸 阅读(20) 评论(0) 推荐(0) 编辑
摘要:HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢? 最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢? 下面我们来仔细分析一下。 1. 什么是分布式系统的CAP? CAP是指一致性(Consistency)、可用性(Ava 阅读全文
posted @ 2020-04-26 10:07 阿丸 阅读(248) 评论(0) 推荐(1) 编辑
摘要:本文将介绍HBase的客户端连接实现,并说明如何正确管理HBase的连接。 最近在搭建一个HBase的可视化管理平台,搭建完成后发现不管什么查询都很慢,甚至于使用api去listTable都要好几秒。 经过一番排查发现,是每次请求的时候,都去临时创建了一个connection,而创建connecti 阅读全文
posted @ 2020-04-19 14:44 阿丸 阅读(195) 评论(0) 推荐(1) 编辑
摘要:提到MySQL的事务,我相信对MySQL有了解的同学都能聊上几句,无论是面试求职,还是日常开发,MySQL的事务都跟我们息息相关。 而事务的ACID(即原子性Atomicity、一致性Consistency、隔离性Isolation、持久性Durability)可以说涵盖了事务的全部知识点,所以,我 阅读全文
posted @ 2020-04-13 21:09 阿丸 阅读(491) 评论(0) 推荐(3) 编辑
摘要:最近跟一个阿里的朋友聊到关于程序员如何把事情做得更好,他提到了很多在阿里的感受,让我受益匪浅。 所谓“如何把事情做得更好”,就是跳出写代码这件事,如何把我们的工作做好,获得更多的个人成长,获得更好的绩效考核结果,并能在其他人中脱颖而出。 思维碰撞下,得到了很多有效的信息,总结为三个方面的“管理”能力 阅读全文
posted @ 2020-04-05 14:53 阿丸 阅读(299) 评论(0) 推荐(3) 编辑
摘要:提到MySQL的事务,我相信对MySQL有了解的同学都能聊上几句,无论是面试求职,还是日常开发,MySQL的事务都跟我们息息相关。 而事务的ACID(即原子性Atomicity、一致性Consistency、隔离性Isolation、持久性Durability)可以说涵盖了事务的全部知识点,所以,我 阅读全文
posted @ 2020-03-27 22:20 阿丸 阅读(409) 评论(0) 推荐(3) 编辑