随笔分类 -  hbase

Phoneix（四）hbase导入数据同时与phoenix实现映射同步
摘要：一、说明 先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。 1、数据准备（10W条，样例如下），文件test.txt 2、上传到hdfs /tmp/下 1、在hbase中创建好表 2、在phoenix中建立相同的表名以实现与hbase表的映射 注意： a 阅读全文
posted @ 2019-05-20 18:22 xiaolaotou 阅读(2171) 评论(0) 推荐(0)
Phoneix（三）HBase集成Phoenix创建二级索引
摘要：一、Hbase集成Phoneix 1、下载 2、上传并解压 3、将phoenix-core-4.13.1-HBase-1.2.jar、phoenix-4.13.1-HBase-1.2-server.jar发送到hregionserver所在的hbase的lib目录下： 4、重启Hbase 5、启动p 阅读全文
posted @ 2019-05-20 11:59 xiaolaotou 阅读(3330) 评论(0) 推荐(0)
Hive数据导入Hbase
摘要：方案一：Hive关联HBase表方式 适用场景：数据量不大4T以下（走hbase的api导入数据） 一、hbase表不存在的情况 创建hive表hive_hbase_table映射hbase表hbase_table，会自动创建hbase表hbase_table，且会随着hive表删除而删除，这里需要 阅读全文
posted @ 2019-05-17 17:05 xiaolaotou 阅读(13840) 评论(0) 推荐(1)
Hbase性能调优（二）
摘要：一、HBase关键参数配置指导 如果同时存在读和写的操作，这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生，会占用大量的磁盘IO操作，从而影响读取的性能。如果写入导致阻塞较多的Compaction操作，就会出现Region中存在多个HFile的情况，从而影响读取 阅读全文
posted @ 2019-04-22 15:42 xiaolaotou 阅读(3109) 评论(0) 推荐(0)
Phoneix（二）HBase集成Phoenix安装
摘要：一、软件下载 1、访问：http://phoenix.apache.org/ 2、点击： 3、进入以下内容：点击 4、跳转到 5、跳转到 6、点击安装包，进入 点击进行下载： 二、安装 phonenix主要是与hbase进行集成，也可以称之为hbase sql的框架。 进入到phonenix的解压文 阅读全文
posted @ 2019-04-02 16:04 xiaolaotou 阅读(1726) 评论(0) 推荐(0)
Hbase原理（转学习自用）
摘要：一、系统架构 从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，接下来介绍他们的作用。 Client 1、Hbase有两张特殊表 阅读全文
posted @ 2019-04-02 15:45 xiaolaotou 阅读(262) 评论(0) 推荐(0)
Hbase之过滤器的使用
摘要：一、过滤器概念 基础API中的查询操作在面对大量数据的时候是非常物无力的，这里Hbase提供了高级的查询方法:Filter（过滤器）。过滤器可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。 阅读全文
posted @ 2019-04-02 11:47 xiaolaotou 阅读(962) 评论(0) 推荐(0)
Hbase学习Hbase基础介绍
摘要：一、产生背景 自1970年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像Hadoop的解决方案。Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式 阅读全文
posted @ 2019-04-01 15:18 xiaolaotou 阅读(215) 评论(0) 推荐(0)
五、Zookeeper、Hbase集群搭建
摘要：一、前提 1、安装JDK 2、安装Hadoop 3、安装zoookeeper 二、安装Hbase 找到官网下载 hbase 安装包 hbase-1.2.5-bin.tar.gz，这里给大家提供一个下载地址： http://mirrors.hust.edu.cn/apache/hbase/stable 阅读全文
posted @ 2019-04-01 13:13 xiaolaotou 阅读(202) 评论(0) 推荐(0)
Hbase性能调优（一）
摘要：转自：https://blog.csdn.net/yueyedeai/article/details/14648111 1、修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024，如果不进行修改，并发量上来的时候会出现“Too Many Open Files”的错误，导致整个H 阅读全文
posted @ 2019-03-29 14:59 xiaolaotou 阅读(1628) 评论(0) 推荐(0)
hbase优化操作与建议
摘要：一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC， 阅读全文
posted @ 2019-03-26 18:05 xiaolaotou 阅读(540) 评论(0) 推荐(0)
Hbase Rowkey设计原则
摘要：Hbase是三维有序存储的，通过rowkey（行键）,column key(column family和qualifier)和TimeStamp(时间戳)这三个维度可以对HBase中的数据进行快速定位。 Hbase中Rowkey可以唯一标识一行记录，在Hbase查询的时候，有以下几种方式： 1、通过 阅读全文
posted @ 2019-03-26 16:18 xiaolaotou 阅读(894) 评论(0) 推荐(0)
Hbase安装
摘要：一、HBASE本地模式：1、首先安装hadoop、jdk2、导入hbase-1.2.5-bin.tar.gz包3、解压：tar -zxvf hbase-1.2.5-bin.tar.gz4、配置环境变量 5、source /etc/profile生效6、配置java——home 7、进入hbase-1 阅读全文
posted @ 2019-03-25 17:10 xiaolaotou 阅读(165) 评论(0) 推荐(0)
Hbase相关参数详解
摘要：转载:http://www.cnblogs.com/nexiyi/p/hbase_config_94.html 版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很 阅读全文
posted @ 2019-03-07 10:00 xiaolaotou 阅读(645) 评论(0) 推荐(0)
详解Hbase架构原理
摘要：一、Hbase概念 Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的PC Server上搭建大规模结构化存储集群。 Hbase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，Hbase利用Ha 阅读全文
posted @ 2019-03-05 14:56 xiaolaotou 阅读(594) 评论(0) 推荐(0)
hbase读写优化
摘要：一、hbase读优化 客户端优化 1、scan缓存是否设置合理？ 优化原理：一次scan请求，实际并不会一次就将所有数据加载到本地，而是多次RPC请求进行加载。默认100条数据大小。 优化建议：大scan场景下将scan缓存从100增大到500或者1000，以减少RPC次数 2、get请求是否可以使 阅读全文
posted @ 2019-03-04 16:37 xiaolaotou 阅读(668) 评论(0) 推荐(0)
Hbase读写流程
摘要：一、hbase的读操作： ZooKeeper meta--regionserver--region--memstore--storefile 1、首先从zookerper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息 2、根据namesp 阅读全文
posted @ 2019-02-22 10:39 xiaolaotou 阅读(10324) 评论(1) 推荐(2)
雅虎(ycsb)测试hbase（压测）
摘要：一、下载ycsb 0.10包 https://github.com/brianfrankcooper/YCSB/releases/download/0.10.0/ycsb-0.10.0.tar.gz 二、上传到linux，解压 tar -zxvf ycsb-0.10.0.tar.gz 三、YSCB压 阅读全文
posted @ 2019-02-21 13:09 xiaolaotou 阅读(2445) 评论(0) 推荐(0)
通过BulkLoad快速将海量数据导入到Hbase（TDH，kerberos认证）
摘要：一、概念 使用BlukLoad方式利用Hbase的数据信息是 按照特点格式存储在HDFS里的特性，直接在HDFS中生成持久化的Hfile数据格式文件，然后完成巨量数据快速入库的操作，配合MapReduce完成这样的操作。 二、优点 1、不占用Region资源 2、不会产生巨量的写入I/O、 3、只需 阅读全文
posted @ 2019-02-21 11:20 xiaolaotou 阅读(895) 评论(0) 推荐(0)