摘要：Hbase优化（四）Hbase优化 一、预分区 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。 那么依照这个原则，我们可以将数据索要投放的分区提前大致的规划好，以提高HBase性能。 1) 手
阅读全文
posted @ 2020-05-02 08:34
文章分类 - Hbase
基于HDFS的分布式、面向列的NoSQL开源数据库（经常用于实时）
摘要：Hbase优化（三）Linux优化+Zookeeper优化 一、Linux优化 1) 开启文件系统的预读缓存可以提高读取速度 $ sudo blockdev --setra 32768 /dev/sda 尖叫提示：ra是readahead的缩写 2) 关闭进程睡眠池 即不允许后台进程进入睡眠状态，如
阅读全文
posted @ 2020-04-30 15:32
摘要：Hbase优化（二）Hadoop的通用性优化 1) NameNode元数据备份使用SSD 固态驱动器（Solid State Disk或Solid State Drive，简称SSD），俗称固态硬盘。 2) 定时备份NameNode上的元数据 每小时或者每天备份，如果数据极其重要，可以5~10分钟备
阅读全文
posted @ 2020-04-30 15:17
摘要：HBase的优化（一）高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1) 关闭
阅读全文
posted @ 2020-04-30 10:58
摘要：节点的管理 一、服役（commissioning） 当启动regionserver时，regionserver会向HMaster注册并开始接收本地数据，开始的时候，新加入的节点不会有任何数据，平衡器开启的情况下，将会有新的region移动到开启的RegionServer上。如果启动和停止进程是使用s
阅读全文
posted @ 2020-04-30 10:38
摘要：Phoenix集成（二）基本命令+表的映射 一、基本命令 1.展示表 > !table 和Hive一样不能加载原有的表，想加载就需要创建关联表。 2.创建表 > create table test(id integer not null primary key,name varchar); 当想创建
阅读全文
posted @ 2020-04-30 10:24
摘要：Phoenix集成（一）Phoenix介绍+Phoenix安装包解压缩更换目录 1. Phoenix介绍 可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系
阅读全文
posted @ 2020-04-30 09:51
摘要：Sqoop集成：MySQL TO HBase Sqoop supports additional import targets beyond HDFS and Hive. Sqoop can also import records into a table in HBase. 之前我们已经学习过如何
阅读全文
posted @ 2020-04-29 16:56
摘要：Hive-与Hive的集成 HBase与Hive的对比 Hive HBase 特点 类SQL 数据仓库 NoSQL （Key-value） 适用场景 离线数据分析和清洗 适合在线业务（毫秒级的） 延迟 延迟高 延迟低 存储位置 存储在HDFS 存储在HDFS HBase与Hive集成使用 1.环境准
阅读全文
posted @ 2020-04-29 09:59
摘要：Hbase-官方Hbase_MapReduce（二）【HdfsToHbase】 目标：将HDFS中表student的数据上传到HBase的student表中。 分步执行：map+reduce 一、HdfsToHaseMapper类 将HDFS中表的数据取出并进行封装转换成Bytes的形式 packa
阅读全文
posted @ 2020-04-25 22:29
摘要：官方Hbase_MapReduce（一）【HbaseToHbase】 目标：实现Hbase数据库中，选取表city的数据到city_mr表。 分步实现：map+reduce 一、HbaseMapper类 package HbaseMr; import org.apache.hadoop.hbase.
阅读全文
posted @ 2020-04-25 15:09
摘要：Hbase-HbaseUtil 是将HbaseAPI进行了封装，就是利用HbaseAPI 写一些自己的HbaseUtil工具类。 一、命名空间-Namespace 其实Hbase里的命名空间namespace就相当于hive、sql数据库中的数据库一样。 二、hbaseUtil类 package h
阅读全文
posted @ 2020-04-25 12:46
摘要：HBase-JavaAPI 一、新建Maven Project 新建项目后在pom.xml中添加依赖（在原有Hadoop、Zookeeper依赖的基础上）： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-serv
阅读全文
posted @ 2020-04-24 15:57
摘要：Hbase-查看.meta表存储位置 先启动zookeeper客户端、查看： [root@bigdata111 ~]# zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, yarn-leader-election, hadoop-h
阅读全文
posted @ 2020-04-21 22:18
摘要：Hbase-读写流程（二） 写数据流程 1) Client也是先访问zookeeper，进而找到.META.表，并获取.META.表信息。 2) 确定当前将要写入的数据所对应的RegionServer服务器和Region。 3) Client向该RegionServer服务器发起写入数据请求，然后R
阅读全文
posted @ 2020-04-21 22:13
摘要：Hbase-读写流程（一） HBase读数据流程 Hbase的regionserver的内存Memstore，block cache。Memstore作业主要是写，另一部分主要是读的。block cache用的是LRU，如果block cache达到上限，会启动淘汰机制。 LRU是Least Rec
阅读全文
posted @ 2020-04-21 22:01
摘要：Hbase-基本操作（二） 常用Shell操作 1) satus 例如：显示服务器状态 hbase> status 'bigdata111' 2) exists 检查表是否存在，适用于表量特别多的情况 hbase> exists 'hbase_book' 3) is_enabled/is_disab
阅读全文
posted @ 2020-04-21 21:55
摘要：Hbase-基本操作（一） 一、常用操作 1) 进入HBase客户端命令行 bin/hbase shell 退出Hbase客户端：quit / exit / ctrl+c 2) 查看帮助命令 hbase(main)> help 3) 查看当前数据库中有哪些表 hbase(main)> list 4)
阅读全文
posted @ 2020-04-21 21:49
摘要：一、HBase远程scp到集群中的其他机器 [root@bigdata111 module]# scp -r hbase-1.3.1/ root@bigdata112:/opt/module/ [root@bigdata111 module]# scp -r hbase-1.3.1/ root@bi
阅读全文
posted @ 2020-04-21 21:21
摘要：一、HBase需要依赖的Jar包(额外，不用配置) 由于HBase需要依赖Hadoop，所以替换HBase的lib目录下的jar包，以解决兼容问题： 1) 删除原有的jar： rm -rf /opt/module/hbase-1.3.1/lib/hadoop-* rm -rf /opt/module
阅读全文
posted @ 2020-04-21 21:15
浙公网安备 33010602011771号