05 2020 档案

实时数据订阅与分发系统概述
摘要：实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上，并维护消息的统一格式，提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景： 索引构建：MySQL到ES 缓存管理：MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订 阅读全文
posted @ 2020-05-27 23:24 阿丸 阅读(2485) 评论(0) 推荐(0)
使用phoenix踩的坑与设计思考
摘要：本文主要介绍在压测HBase的二级索引phoenix时踩的一个坑，使用时需要特别注意，而且背后的原因也很有意思，可以看出HBase和Phoenix对元数据设计上的差异。 1.问题介绍 在做phoenix压测时发现一个奇怪的现象。 压测请求分布非常均匀，但是有一台机器的流量、负载都明显高于其他机器。 阅读全文
posted @ 2020-05-21 09:19 阿丸 阅读(1383) 评论(0) 推荐(0)
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
摘要：Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs对HBase数据进行增删改查，构建二级索引。当然，开源产品嘛，自然需要注意“避坑”啦，阿丸会把使用方式和最佳实践都告诉你。 1.什么是Phoenix Phoenix完全使用Java编写，将SQL查询转换为一个或多个H 阅读全文
posted @ 2020-05-18 14:00 阿丸 阅读(856) 评论(0) 推荐(0)
「从零单排HBase 11」HBase二级索引解决方案
摘要：HBase一个令人惋惜的地方，就是不支持二级索引。因此，社区有了很多补充方案来填补HBase的二级索引能力的缺陷。 今天，我们就来看看有哪些二级索引方案，通过对比各个方案的优缺点，并结合我们的具体场景做出二级索引方案选型。 1.为什么需要二级索引 HBase系统单纯从解决大数据实时读写问题角度出发， 阅读全文
posted @ 2020-05-15 09:10 阿丸 阅读(432) 评论(0) 推荐(0)
「从零单排HBase 10」HBase集群多租户实践
摘要：在HBase1.1.0发布之前，HBase同一集群上的用户、表都是平等的，大家平等共用集群资源。容易碰到两个问题： 一是某些业务较其他业务重要，需要在资源有限的情况下优先保证核心重要业务的正常运行 二是有些业务QPS常常很高，占用大量系统资源，导致其他业务无法正常运转。 这是典型的多租户问题。因此， 阅读全文
posted @ 2020-05-13 10:02 阿丸 阅读(720) 评论(1) 推荐(1)
「从零单排HBase 09」HBase的那些数据结构和算法
摘要：在之前学习MySQL的时候，我们知道存储引擎常用的索引结构有B+树索引和哈希索引。 而对HBase的学习，也离不开索引结构的学习，它使用了一种LSM树（(Log-Structured Merge-Tree)）的索引结构。 下面，我们就结合HBase的实现，来深入了解HBase的核心数据结构与算法，包 阅读全文
posted @ 2020-05-05 22:21 阿丸 阅读(919) 评论(0) 推荐(0)