2021年3月1日

面对百亿数据，Hbase为什么查询速度依然非常快？

摘要： HBase适合存储PB级别的海量数据（百亿千亿量级条记录），如果根据记录主键Rowkey来查询，能在几十到百毫秒内返回数据。 那么Hbase是如何做到的呢？ 接下来，介绍一下数据的查询思路和过程。 查询过程： 第1步： 项目有100亿业务数据，存储在一个Hbase集群上（由多个服务器数据节点构成）， 阅读全文

posted @ 2021-03-01 23:14 洪文聊架构 阅读(1025) 评论(0) 推荐(0)

2021年2月20日

架构视角：什么业务场景用Hbase？

摘要： 要想非常明确什么场景下用Hbase，那么我们来先了解下Hbase的主要核心特性，那么在什么业务场景下用Hbase，就比较清晰了！ Hbase是一种在Hadoop之上的NoSQL的Key/vale数据库，底层依靠HDFS进行数据存储。 一、Hbase核心特性 海量数据存储 面对互联网应用的海量数据，传 阅读全文

posted @ 2021-02-20 12:12 洪文聊架构 阅读(1311) 评论(0) 推荐(0)

2021年2月19日

Centos7环境Hbase集群搭建

摘要： Hbase集群搭建 基于上一篇Hadoop集群已经搭建完成基础上（需要的朋友可以翻看我的上一篇博文），我们来完成Hbase的搭建工作。 一、节点规划 服务/机器 node21(10.10.26.21) node245(10.10.26.245) node255(10.10.26.255) NameN 阅读全文

posted @ 2021-02-19 12:16 洪文聊架构 阅读(315) 评论(0) 推荐(0)

Centos7环境Hadoop3集群搭建

摘要： Centos 7 环境 hadoop 3.2.1分布式集群搭建 由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。 一、三个节点的集群规划： hostname(IP) 阅读全文

posted @ 2021-02-19 11:44 洪文聊架构 阅读(623) 评论(0) 推荐(0)

2021年2月2日

10亿数据要存要查，选Mongodb还是Elalsticsearch？

摘要： 项目启动，预估超过10亿的文档数据要存储，那么我们选择Elasticsearch or Mongodb？ 明确两者定位 MongoDB和Elasticsearch都属于NoSQL范畴的数据库,且都属于文档型数据存储数据库。 所以这两者的众多功能和特性高度重合, 但其实两者定位还是有所不同。 Mong 阅读全文

posted @ 2021-02-02 23:25 洪文聊架构 阅读(1233) 评论(0) 推荐(1)

导航