摘要：
一、Phoenix简介 Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是 阅读全文
posted @ 2020-06-23 07:54
数据驱动
阅读(385)
评论(0)
推荐(0)
摘要：
一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下： 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中，具有以下特点： 支持时间区间 、row 区间 、改变表名称 、 阅读全文
posted @ 2020-06-22 23:34
数据驱动
阅读(909)
评论(0)
推荐(0)
摘要：
一、简述 Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执 行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需 要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HBase 在数据存储层 阅读全文
posted @ 2020-06-22 22:57
数据驱动
阅读(992)
评论(0)
推荐(0)
摘要：
一、HBase过滤器简介 Hbase 提供了种类丰富的过滤器（filter）来提高数据处理的效率，用户可以通过内置或自定义的过滤器来对数据进行过滤，所有的过滤器都在服务端生效，即谓词下推（predicate push down）。这样可以保证过滤掉的数据不会被传送到客户端，从而减轻网络传输和客户端处 阅读全文
posted @ 2020-06-22 18:50
数据驱动
阅读(880)
评论(0)
推荐(0)
摘要：
一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING 阅读全文
posted @ 2020-06-21 23:38
数据驱动
阅读(1981)
评论(0)
推荐(0)
摘要：
Hive 常用DML操作 一、加载文件数据到表 1.1 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOC 阅读全文
posted @ 2020-06-21 17:33
数据驱动
阅读(590)
评论(0)
推荐(0)
摘要：
一、视图 1.1 简介 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中 阅读全文
posted @ 2020-06-21 16:18
数据驱动
阅读(551)
评论(0)
推荐(0)
摘要：
一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合 阅读全文
posted @ 2020-06-21 14:55
数据驱动
阅读(1126)
评论(0)
推荐(0)
摘要：
一、Database 1.1 查看数据列表 show databases; 1.2 使用数据库 USE database_name; 1.3 新建数据库 语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCH 阅读全文
posted @ 2020-06-21 14:05
数据驱动
阅读(535)
评论(0)
推荐(0)
摘要：
一、Hive CLI 1.1 Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助，显示如下： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. 阅读全文
posted @ 2020-06-21 11:07
数据驱动
阅读(1463)
评论(0)
推荐(0)
浙公网安备 33010602011771号