2021年6月16日
Multiple Executor模式安装
摘要： Multiple Executor模式安装 前提：某节点已经安装mysql，此文档以hadoop02已经安装mysql为例 若没有特殊说明，所有操作都是使用hadoop普通用户操作 具体用到的安装包可以在这里下载：https://pan.baidu.com/s/1SfjBBvtyOIQ3-kIKVK 阅读全文
posted @ 2021-06-16 22:59 Tenic 阅读(80) 评论(0) 推荐(0)
工作流调度器Azkaban
摘要： 1.工作流调度器 1.为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可 阅读全文
posted @ 2021-06-16 21:20 Tenic 阅读(152) 评论(0) 推荐(0)
2021年6月14日
Phoenix介绍
摘要： 1.什么是Phoenix Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 2.Phoenix底层原理 Phoenix框架将命令行上键入的sql语句翻译成hbase指令，然后hbase用翻译好的指令 阅读全文
posted @ 2021-06-14 00:40 Tenic 阅读(949) 评论(0) 推荐(0)
2021年6月13日
HBase集成Hive
摘要： Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中 1 HBase与Hive的对比 1.1 Hive 数据仓库管理系统 Hive的本质其实就相当于将HDFS中已 阅读全文
posted @ 2021-06-13 23:26 Tenic 阅读(175) 评论(0) 推荐(0)
2021年6月12日
HBase集成MapReduce
摘要： 集成分析 HBase表中的数据最终都是存储在HDFS上，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase表中的数据， 并且MR可以将处理后的结果直接存储到HBase表中。 参考地址：http://hbase.apache.org/book.html#mapreduce 1 实现方式 阅读全文
posted @ 2021-06-12 22:54 Tenic 阅读(198) 评论(0) 推荐(0)
HBase表的热点以及rowkey的设计
摘要： HBase表热点 1 什么是热点 检索habse的记录首先要通过row key来定位数据行。 当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。 2 热点的解决方 阅读全文
posted @ 2021-06-12 11:22 Tenic 阅读(173) 评论(0) 推荐(0)
HBase Region 分裂于合并
摘要： Region 分裂 1 region分裂说明 region中存储的是一张表的数据，当region中的数据条数过多的时候，会直接影响查询效率. 当region过大的时候，hbase会将region拆分为两个region , 这也是Hbase的一个优点. 2 Region分裂策略 2.1 Constan 阅读全文
posted @ 2021-06-12 11:11 Tenic 阅读(644) 评论(0) 推荐(0)
HBase表的预分区
摘要： HBase表的预分区 当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。 阅读全文
posted @ 2021-06-12 09:44 Tenic 阅读(618) 评论(0) 推荐(0)
2021年6月10日
HBase的数据存储原理
摘要： 一个HRegionServer会负责管理很多个region 一个**region**包含很多个store 一个**列族就划分成一个store** 如果一个表中只有1个列族，那么这个表的每一个region中只有一个store 如果一个表中有N个列族，那么这个表的每一个region中有N个store 一 阅读全文
posted @ 2021-06-10 22:53 Tenic 阅读(122) 评论(0) 推荐(0)
HBase的JavaAPI操作
摘要： HBase是一个分布式的NoSql数据库，在实际工作当中，我们一般都可以通过JavaAPI来进行各种数据的操作，包括创建表，以及数据的增删改查等等 1 创建maven工程 讲如下内容作为maven工程中pom.xml的repositories的内容 自动导包 <?xml version="1.0" 阅读全文
posted @ 2021-06-10 22:49 Tenic 阅读(574) 评论(0) 推荐(0)