随笔分类 -  Hbase

Hbase-day06_HBase索引案例（使用redis存储索引）
摘要：一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应 阅读全文
posted @ 2022-06-19 21:16 a-tao必须奥利给 阅读(57) 评论(0) 推荐(0)
Hbase-day06_HBase优化
摘要：一.HBase优化 2.1 行键的设计（重点） 实际上底层存储是按列族线性地存储单元格 列包括了HBase特有的列族和列限定符，从而组成列键。 磁盘上一个列族下所有的单元格 都存储在一个存储文件中，不同列族的单元格不会出现在同一个存储文件中。 每个单元格在实际存储时保存了行键和列键，所以每个单元格都 阅读全文
posted @ 2022-06-19 21:15 a-tao必须奥利给 阅读(159) 评论(0) 推荐(0)
Hbase-day05_bulkLoad实现批量导入_HBase中rowkey的设计_二级索引_Phoenix二级索引
摘要：hbase-day05 1、bulkLoad实现批量导入 优点： 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。 它是利用hbase的数据信 阅读全文
posted @ 2022-06-15 16:18 a-tao必须奥利给 阅读(246) 评论(0) 推荐(0)
Hbase-day04_读写流程，分裂策略，Compaction操作，可快速查询百亿数据原因，hbase和hive的集成，Phoenix
摘要：HBase学习（四） 一、HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程： 1）是由客户端发起读取数据的请求，首先会与zookeeper建立连接 2）从zookeeper中获取一个hbase:meta表位置信息，被哪一个regionserver所管理着 hbase 阅读全文
posted @ 2022-06-14 08:52 a-tao必须奥利给 阅读(198) 评论(0) 推荐(0)
Hbase-day03_java操作hbase_hbase_各种过滤器使用
摘要：Hbase_各种过滤器使用 1.常规比较器 行键过滤器 列簇过滤器 列过滤器 列值过滤器 package com.shujia; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; imp 阅读全文
posted @ 2022-06-12 13:55 a-tao必须奥利给 阅读(183) 评论(0) 推荐(0)
Hbase-day03_hbase_过滤器
摘要：Hbase_过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filt 阅读全文
posted @ 2022-06-12 13:34 a-tao必须奥利给 阅读(87) 评论(0) 推荐(0)
Hbase-day02_java API连接hbase_基础版
摘要：java API连接hbase_基础版 父工程pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.or 阅读全文
posted @ 2022-06-11 21:26 a-tao必须奥利给 阅读(70) 评论(0) 推荐(0)
Hbase-day02_Hbase shell(进阶)
摘要：HBase学习（二） 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？ 使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create 'b 阅读全文
posted @ 2022-06-11 08:10 a-tao必须奥利给 阅读(100) 评论(0) 推荐(0)
Hbase-day01_hbase shell基础操作
摘要：hbase shell 命名 描述 语法 help ‘命名名’ 查看命令的使用描述 help ‘命令名’ whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 查看如何操作表 tab 阅读全文
posted @ 2022-06-10 18:42 a-tao必须奥利给 阅读(78) 评论(0) 推荐(0)
Hbase-day01_HBase1.7.1安装搭建
摘要：HBase1.7.1安装搭建 4.1 hbase下载 官网下载地址：https://www.apache.org/dyn/closer.lua/hbase/1.7.1/hbase-1.7.1-bin.tar.gz 4.2 前期准备（Hadoop,zookeeper,jdk） 启动hadoop sta 阅读全文
posted @ 2022-06-09 22:00 a-tao必须奥利给 阅读(95) 评论(0) 推荐(0)
Hbase-day01_了解hbase
摘要：HBase学习（一） 一、了解HBase 官方文档：https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据 HBase是Hadoop的生态系统之 阅读全文
posted @ 2022-06-09 19:51 a-tao必须奥利给 阅读(88) 评论(0) 推荐(0)