Phoenix+hbase - 随笔分类 - 大码王

HBase Rowkey 设计指南

摘要：为什么Rowkey这么重要 RowKey 到底是什么我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下：类似于 MySQL、Oracle中的主键，用于标示唯一的行阅读全文

posted @ 2020-06-04 10:35 大码王阅读(206) 评论(0) 推荐(0) 编辑

HBase中加盐（Salting）之后的表如何读取：协处理器文章

摘要：我们介绍了避免数据斑点的三种比较常见方法：加盐-盐腌哈希-散列反转-反转其中在加盐（Salting）的方法里面是这么描述的：给Rowkey分配一个随机指针以使其和之前排序不同。但是在Rowkey前面加了随机重叠，那么我们怎么将这些数据替换来呢？我将分三篇文章来介绍如何读取加盐之后的表，其中每阅读全文

posted @ 2020-06-04 10:33 大码王阅读(571) 评论(0) 推荐(0) 编辑

sparkcore入门到实战之（14）HBase 中加盐（Salting）之后的表如何读取

摘要：我们知道，HBase 为我们提供了 hbase-mapreduce 工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这个工程的描述如下：This module contains implementations of InputFormat, OutputFo 阅读全文

posted @ 2020-06-04 10:31 大码王阅读(535) 评论(0) 推荐(0) 编辑

Spark SQL入门到实战之（5）使用 Spark SQL 高效地读写 HBase

摘要：Apache Spark 和 Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用 Spark 分析/查询 HBase 中的数据，而目前 Spark 内置是支持很多数据源的，其中就包括了 HBase，但是内置的读取数据源还是使用了 TableInputFormat 来读取 HB 阅读全文

posted @ 2020-06-04 10:29 大码王阅读(657) 评论(0) 推荐(0) 编辑

sparkcore入门到实战之（13）在Spark上通过BulkLoad快速将海量数据导入到Hbase

摘要：本文将介绍如何在Spark上使用Scala编写快速导入数据到Hbase中的方法。这里将介绍两种方式：第一种使用Put普通的方法来倒数；第二种使用Bulk Load API。使用org.apache.hadoop.hbase.client.Put来写数据使用 org.apache.hadoop.h 阅读全文

posted @ 2020-06-04 10:26 大码王阅读(586) 评论(0) 推荐(0) 编辑

Hive和HBase整合用户指南

摘要：本文讲解的Hive和HBase整合意思是使用Hive读取Hbase中的数据。我们可以使用HQL语句在HBase表上进行查询、插入操作；甚至是进行Join和Union等复杂查询。此功能是从Hive 0.6.0开始引入的，详情可以参见HIVE-705。Hive与HBase整合的实现是利用两者本身对外的A 阅读全文

posted @ 2020-06-04 10:20 大码王阅读(246) 评论(0) 推荐(0) 编辑

sparkcore入门到实战之（12）Spark读取Hbase中的数据

摘要：大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc 阅读全文

posted @ 2020-06-04 10:10 大码王阅读(910) 评论(0) 推荐(0) 编辑

Flume-0.9.4和Hbase-0.96整合

摘要：这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过阅读全文

posted @ 2020-06-04 10:08 大码王阅读(294) 评论(0) 推荐(0) 编辑

Flume-1.4.0和Hbase-0.96.0整合

摘要：在使用Flume的时候，请确保你电脑里面已经搭建好Hadoop、Hbase、Zookeeper以及Flume。本文将以最新版的Hadoop-2.2.0、Hbase-0.96.0、Zookeeper-3.4.5以及Flume-1.4.0为例进行说明。如何安装分布式的Hadoop、Hbase、Zooke 阅读全文

posted @ 2020-06-04 10:02 大码王阅读(200) 评论(0) 推荐(0) 编辑

phoenix从入门到精通

摘要：第一章、phoenix入门简介 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据阅读全文

posted @ 2020-06-01 17:56 大码王阅读(749) 评论(0) 推荐(0) 编辑

Phoenix入门到实战（一）

摘要：问题导读1.你认为Apache Phoenix与HBase的关系是什么？2.Phoenix安装需要哪些软件？3.如何部署Phoenix？Introduction Apache Phoenix is a relational database layer over HBase delivered as 阅读全文

posted @ 2020-06-01 17:27 大码王阅读(654) 评论(0) 推荐(0) 编辑

随笔分类 - Phoenix+hbase

公告