Phoenix

Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。

Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。

Phoenix
1、Phoenix 搭建
2、Phoenix使用
3、Phoenix二级索引
- - 1、开启索引支持
  - 2、创建索引

1、Phoenix 搭建

phoenix-hbase-2.2-5.1.3-bin.tar.gz HBase 2.2.7 hadoop 3.1.1

1、关闭hbase集群，在master中执行

stop-hbase.sh

2、上传解压配置环境变量

# 解压
tar -zxvf phoenix-hbase-2.2-5.1.3-bin.tar.gz -C /usr/local/soft/
# 改名
cd /usr/local/soft
mv phoenix-hbase-2.2-5.1.3-bin phoenix-5.1.3

# 配置环境变量
vim /etc/profile

# 加入以下内容
export PHOENIX_HOME=/usr/local/soft/phoenix-5.1.3
export PATH=$PATH:$PHOENIX_HOME/bin
在配置完成后不要忘记source

3、分发Phoenix的Jar包

将phoenix-server-hbase-2.2-5.1.3.jar复制到所有节点的hbase lib目录下

# 在master上执行
cd /usr/local/soft/phoenix-5.1.3
# 先放入Master的${HBASE_HOME}/lib目录下
cp phoenix-server-hbase-2.2-5.1.3.jar $HBASE_HOME/lib/

# 切换目录
cd ${HBASE_HOME}/lib
# 分发至node1、node2
scp phoenix-server-hbase-2.2-5.1.3.jar node1:`pwd`
scp phoenix-server-hbase-2.2-5.1.3.jar node2:`pwd`

4、启动hbase

start-hbase.sh

2、Phoenix使用

1、连接sqlline

第一次启动稍慢

sqlline.py master,node1,node2

# 无报错并出现以下日志且正常进入phoenix客户端即表示搭建成功
Connected to: Phoenix (version 5.1)
Driver: PhoenixEmbeddedDriver (version 5.1)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
sqlline version 1.9.0
0: jdbc:phoenix:master,node1,node2>

2、常用命令

# 1、创建表
CREATE TABLE IF NOT EXISTS STUDENT (
 id VARCHAR NOT NULL PRIMARY KEY, 
 name VARCHAR,
 age BIGINT, 
 gender VARCHAR,
 clazz VARCHAR
);
-- PRIMARY KEY 表示主键 有序并且全局唯一的
-- VARCHAR 由于HBASE中存储数据没有长度限制，所以不需要加上长度
-- PHOENIX中创建的表都会在HBASE中映射有一张表


# 2、显示所有表
show tables;
# 或者是
!table

# 3、插入数据
upsert into STUDENT values('1500100004','葛德曜',24,'男','理科三班');
upsert into STUDENT values('1500100005','宣谷芹',24,'男','理科六班');
upsert into STUDENT values('1500100006','羿彦昌',24,'女','理科三班');

-- 使用upsert添加数据时，如果ID相同，那么数据会替换更新
upsert into STUDENT values('1500100004','吴天诺',18,'男','bigdata');

-- 数据插入后，在HBASE中会对应有数据，其中RowKey是Phoenix表中的ID
-- 其ID在建表时添加了 PRIMARY KEY修饰
-- 其他列对应的列族为0列名称为建表时的表名 

# 4、查询数据,支持大部分sql语法，
select * from STUDENT ;
select * from STUDENT where age=24;
select gender,count(*) as num from STUDENT group by gender;
select * from student order by gender;

# 5、删除数据
delete from STUDENT where id='1500100006';

# 6、删除表
drop table STUDENT;
 
# 7、退出命令行
!quit

# 更多语法参照官网
https://phoenix.apache.org/language/index.html

-- 其他使用示例
CREATE TABLE gender_cnt(
gender varchar NOT NULL PRIMARY KEY,
cnt BIGINT 
);

upsert into gender_cnt SELECT gender,count(*) from STUDENT group by gender;

-- 查看SQL的执行计划
EXPLAIN  SELECT * FROM STUDENT WHERE  name = '宣谷芹';
-- 对于ROWKey进行过滤时，不需要使用FULL Scan 
EXPLAIN  SELECT * FROM STUDENT WHERE  id = '1500100004';

-- 聚合操作同样触发FULL SCAN，慎用！
EXPLAIN  SELECT count(*) FROM STUDENT WHERE id = '1500100004' and clazz LIKE '%三班%';

3、表映射

默认情况下，直接在hbase中创建的表，通过phoenix是查看不到的

如果需要在phoenix中操作直接在hbase中创建的表，则需要在phoenix中进行表的映射。

映射方式分为两种：视图映射和表映射

3.1、视图映射

Phoenix创建的视图是只读的，所以只能用来做查询，无法通过视图对源数据进行修改等操作

# hbase shell 进入hbase命令行
hbase shell 

# 创建hbase表
create 'test','name','company' 

# 插入数据
put 'test','001','name:firstname','zhangsan1'
put 'test','001','name:lastname','zhangsan2'
put 'test','001','company:name','数加'
put 'test','001','company:address','合肥'


-- 在phoenix创建视图
-- 注意表名添加双引号的目的是为了防止大小写转换，如果不加，那么表示当前HBASE中的表名称为大写 最好添加
-- primary key -》 HBASE中的RowKey信息
-- "name"."firstname" 对应HBASE中name列族下的firstname列
-- SELECT 查询时，如果建表时，表名添加了双引号 那么查询时也需要添加 
-- 视图仅仅是创建了一个映射关系，当Hbase中表发生变化时，对应视图数据也会发生变化
create view "test"(
    empid varchar primary key,
    "name"."firstname" varchar,
    "name"."lastname"  varchar,
    "company"."name"  varchar,
    "company"."address" varchar
);

-- 在phoenix查询数据，表名通过!!!双引号!!!引起来
select * from "test";

-- ERROR 505 (42000): Table is read only. 
-- 视图是一个只读的映射，无法对数据进行变更 
upsert into "test" values('002','li','si','shujia','hefei');

-- 删除视图不会影响Hbase中的数据
drop view "test";

-- students：通过HBase Java API写入的学生表
-- 通过视图方式映射
CREATE view "students" (
 id VARCHAR NOT NULL PRIMARY KEY, 
 "info"."name" VARCHAR,
 "info"."age" BIGINT, 
 "info"."gender" VARCHAR,
 "info"."clazz" VARCHAR
);

-- 在查询具体列时，如果建表时，对应字段名添加了双引号，那么查询时也需要添加双引号
select "age" from "students";
select "info"."age" from "students";

3.2、表映射

使用Apache Phoenix创建对HBase的表映射，有两类：

1）当HBase中已经存在表时，可以以类似创建视图的方式创建关联表，只需要将create view改为create table即可。

2）当HBase中不存在表时，可以直接使用create table指令创建需要的表，并且在创建指令中可以根据需要对HBase表结构进行显示的说明。

第1）种情况下，如在之前的基础上已经存在了test表，则表映射的语句如下：

-- 需要先把上一个步骤的test视图先drop view
-- Phoenix中创建的表，默认都在HBASE中的default命名空间下
-- column_encoded_bytes=0表示不对HBase原有表的列名进行重新编码
-- 如果表及数据是先在HBase中创建并加载好的，则必须加上该参数，否则无法映射上数据
create table "test" (
    empid varchar primary key,
    "name"."firstname" varchar,
    "name"."lastname"varchar,
    "company"."name"  varchar,
    "company"."address" varchar
)column_encoded_bytes=0;

-- 表映射是可以修改数据的
upsert into  "test"  values('1','2','3','4','5');

使用create table创建的关联表，如果对表进行了修改，源数据也会改变，同时如果关联表被删除，源表也会被删除。但是视图就不会，如果删除视图，源数据不会发生改变。

3、Phoenix二级索引

对于Hbase，如果想精确定位到某行记录，唯一比较快的办法就是通过rowkey查询。如果不通过rowkey查找数据，就必须逐行比较每一行的值，对于较大的表，全表扫描的代价是不可接受的。

1、开启索引支持

# 关闭hbase集群
stop-hbase.sh

# 在/usr/local/soft/hbase-2.2.7/conf/hbase-site.xml中增加如下配置

<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>
<property>
    <name>hbase.rpc.timeout</name>
    <value>60000000</value>
</property>
<property>
    <name>hbase.client.scanner.timeout.period</name>
    <value>60000000</value>
</property>
<property>
    <name>phoenix.query.timeoutMs</name>
    <value>60000000</value>
</property>


# 同步到所有节点
scp hbase-site.xml node1:`pwd`
scp hbase-site.xml node2:`pwd`

# 修改phoenix目录下的bin目录中的hbase-site.xml
cd /usr/local/soft/phoenix-5.1.3/bin
vim hbase-site.xml

<property>
    <name>hbase.rpc.timeout</name>
    <value>60000000</value>
</property>
<property>
    <name>hbase.client.scanner.timeout.period</name>
    <value>60000000</value>
</property>
<property>
    <name>phoenix.query.timeoutMs</name>
    <value>60000000</value>
</property>


# 启动hbase
start-hbase.sh
# 重新进入phoenix客户端
sqlline.py master,node1,node2

2、创建索引

2.1、全局索引

（全局索引创建完成后，默认在hbase中是可以看到的，可以操作，如scan、count等，可以获取数据）

全局索引适合读多写少的场景。如果使用全局索引，读数据基本不损耗性能，所有的性能损耗都来源于写数据。

数据表的添加、删除和修改都会更新相关的索引表（数据删除了，索引表中的数据也会删除；数据增加了，索引表的数据也会增加）

注意: 对于全局索引在默认情况下，在查询语句中检索的列如果不在索引表中，Phoenix不会使用索引表，除非使用hint。

-- 创建DIANXIN.sql
-- PRIMARY KEY (mdn,start_date) 以mdn和start_date作为联合索引，那么在HBASE中以这两个字段拼接作为其RowKey 并且ROWKey中以\x00作为其分隔符
-- 需要将其保存成DIANXIN.sql文件
CREATE TABLE IF NOT EXISTS DIANXIN (
     mdn VARCHAR ,
     start_date VARCHAR ,
     end_date VARCHAR ,
     county VARCHAR,
     x DOUBLE ,
     y  DOUBLE,
     bsid VARCHAR,
     grid_id  VARCHAR,
     biz_type VARCHAR, 
     event_type VARCHAR , 
     data_source VARCHAR ,
     CONSTRAINT PK PRIMARY KEY (mdn,start_date)
) column_encoded_bytes=0;


-- 上传数据DIANXIN.csv
-- psql.py 输入导入脚本 要求数据是csv格式或者文本格式，其中数据的分隔符默认为","
-- 导入数据
psql.py master,node1,node2 DIANXIN.sql DIANXIN.csv


-- 创建全局索引
-- INDEX是索引表的标记
-- DIANXIN_INDEX索引名 
-- ON 表示以哪张表创建索引
-- 通过查询HBASE中DIANXIN_INDEX表可以看出 RowKey为end_date + DIANXIN表中的ROWKEY
CREATE INDEX DIANXIN_INDEX ON DIANXIN (end_date);


-- 查询数据 ( 索引未生效)
-- 查询该表时，取的是所有字段，而DIANXIN其他字段并不存在于索引表中，所以Phoenix不知道取哪个索引表
select * from DIANXIN where end_date = '20180503154014';
select * from DIANXIN where start_date = '20180503211049';

-- 15 rows selected (6.705 seconds)

-- 强制使用索引 （索引生效） 
-- hint语法是在查询时指定注释信息，表示当前查询需要使用哪些信息 /*+*/
select /*+ INDEX(DIANXIN DIANXIN_INDEX) */  * from DIANXIN where end_date = '20180503191808';
-- 14 rows selected (0.468 seconds)

-- 查询条件中包含了了end_date，并且在索引表中有 end_date，所以查询时速度快，索引生效
select /*+ INDEX(DIANXIN DIANXIN_INDEX) */  * from DIANXIN where end_date = '20180503154014'  and start_date = '20180503154614';
-- 2 rows selected (0.115 seconds)

-- 取索引列，（索引生效）
-- count(*)计算时，是需要查看DIANXIN表中对应符合end_date = '20180503154014'要求的RowKey有多少个，而DIANXIN_INDEX索引表中对应RowKey包含有 end_date数据和 DIANXIN中的RowKey信息，所以可以直接使用索引表，而不需要再去源表中做查询
select count(*) from DIANXIN where end_date = '20180503154014';
-- 1 row selected (0.04 seconds)

-- 取非索引列，但为RK列，索引生效
select MDN from DIANXIN where end_date = '20180503154014';


-- Phoenix也支持创建多列索引
-- 创建多列索引就是在新建的索引表中，对应Rowkey会添加多个列
CREATE INDEX DIANXIN_INDEX1 ON DIANXIN ( end_date,COUNTY );


-- 注意：查询的时候，如果前面出现的某一列既不在rowkey中，也不在索引列中，默认是不会生效的。
-- 多条件查询 （索引生效）
select end_date,MDN,COUNTY from DIANXIN where end_date = '20180503154014' and COUNTY = '8340104';

-- 索引未生效：因为添加的COUNTY字段是在索引表RowKey的中间，当HBASE查询数据时，不能直接按位置比较
select end_date,MDN,COUNTY from DIANXIN where COUNTY = '8340104' AND START_DATE='20180503154014'
-- 7 rows selected (1.939 seconds)
-- ROWKEY => end_date,COUNTY,MDN,START_DATE
-- ROWKEY按照字典序排序（需要从第一个位置进行依次比较） => 字典序排序不能从中间位置开始比较需要从第一个位置 
-- where 条件过滤时 必须要给上字典序的第一个位置信息 
-- 创建多列索引时，对索引列的顺序也有要求，经常查询的列放在第一位 


-- 查询所有列 (索引未生效)
-- * 是取DIANXIN表中所有列，不能单从索引表中获取，所以需要添加描述信息
select * from DIANXIN where end_date = '20180503154014'  and COUNTY = '8340104';
-- 7 rows selected (2.496 seconds)
 
-- 查询所有列 （索引生效）
select /*+ INDEX(DIANXIN DIANXIN_INDEX1) */ * from DIANXIN where end_date = '20180503154014' and COUNTY = '8340104';
-- 7 rows selected (0.082 seconds)

-- 单条件  (索引未生效)
select end_date from DIANXIN where COUNTY = '8340103';
-- 单条件  (索引生效) end_date 在前
select COUNTY from DIANXIN where end_date = '20180503154014';

-- 删除索引
drop index DIANXIN_INDEX on DIANXIN;

2.2、本地索引

本地索引适合写多读少的场景，或者存储空间有限的场景。

和全局索引一样，Phoenix也会在查询的时候自动选择是否使用本地索引。

本地索引因为索引数据和原数据存储在同一台机器上，避免网络数据传输的开销，所以更适合写多的场景。

由于无法提前确定数据在哪个Region上，所以在读数据的时候，需要检查每个Region上的数据从而带来一些性能损耗。

注意:对于本地索引，查询中无论是否指定hint或者是查询的列是否都在索引表中，都会使用索引表。

-- 创建本地索引
-- 以网格ID 创建本地索引
CREATE LOCAL INDEX DIANXIN_LOCAL_INDEX ON DIANXIN(grid_id);


-- 索引生效
select grid_id from dianxin where grid_id='117285031820040';
--1,179 rows selected (0.179 seconds)


-- 索引生效
-- 因为本地索引建立时，索引的信息和源表中的数据都在一个节点中，那么查询数据时可以直接获取源表当前节点中的数据
select * from dianxin where grid_id='117285031820040';
--1,179 rows selected (0.418 seconds)

2.3、覆盖索引

覆盖索引是把原数据存储在索引数据表中，这样在查询时不需要再去HBase的原表获取数据就，直接返回查询结果。(相当于全局索引+数据)

注意：查询是 select 的列和 where 的列都需要在索引中出现。

-- 创建覆盖索引
CREATE INDEX DIANXIN_INDEX_COVER ON DIANXIN ( x,y ) INCLUDE ( county );

-- 创建完成后：
0:X   |   0:Y   |                   :MDN                    |   :START_DATE   | 0:COUNTY 
其中:MDN 和 START_DATE 为原先DIANXIN表中的ROWKEY，X Y是索引表中后添加的ROWKey信息 
DIANXIN_INDEX_COVER 的ROWKEY信息  X，y,MDN,START_DATE,而county为索引表中的Value 

# 查询所有列 (索引未生效)
select * from dianxin where x=117.288 and y =31.822;
select * from DIANXIN where x=117.288 and y =31.822;

# 强制使用索引 (索引生效)
select /*+ INDEX(DIANXIN DIANXIN_INDEX_COVER) */ * from dianxin where x=117.288 and y =31.822;

# 查询索引中的列 (索引生效) mdn是DIANXIN表的RowKey中的一部分
select x,y,county from dianxin where x=117.288 and y =31.822;
select mdn,x,y,county from dianxin where x=117.288 and y =31.822;


-- 直接从索引表中取对应的字段数据
SELECT "0:COUNTY" FROM DIANXIN_INDEX_COVER limit 10;


# 查询条件必须放在索引中  select 中的列可以放在INCLUDE （将数据保存在索引中）
select /*+ INDEX(DIANXIN DIANXIN_INDEX_COVER) */ x,y,count(*) from dianxin group by x,y;

使用场景：

如果HBASE中原先已经有对应表存在，表中也有对应数据，当有业务需求需要对表中的字段，进行过滤取值时，速度较慢，那么可以使用Phoenix创建对应的表，之后再去做索引表，通过索引表再去对数据进行快速查询

posted @ 2024-11-21 20:29 XIOANNAN 阅读(54) 评论(0) 收藏举报

刷新页面返回顶部

Phoenix

Phoenix

1、Phoenix 搭建

1、关闭hbase集群，在master中执行

2、上传解压配置环境变量

3、分发Phoenix的Jar包

4、启动hbase

2、Phoenix使用

1、连接sqlline

2、常用命令

3、表映射

3.1、视图映射

3.2、表映射

3、Phoenix二级索引

1、开启索引支持

2、创建索引

2.1、全局索引

2.2、本地索引

2.3、覆盖索引

公告