12 2021 档案

OushuDB 选择表存储模型
摘要：表的存储格式 OushuDB现在支持多种存储格式：AO，Parquet，ORC，MagmaAP。AO是按行存储的格式，而Parquet，ORC，MagmaAP是按行列存储的格式。 其中MagmaAP 是在4.0.0.0发布的全新的存储格式。MagmaAP，ORC都支持update／delete， 且 阅读全文
posted @ 2021-12-28 18:27 数据舱酷 阅读(70) 评论(0) 推荐(0)
OushuDB 创建和管理表空间
摘要：创建和管理表空间 OushuDB 里的表空间允许数据库管理员在文件系统里定义那些代表数据库对象的文件存放位置。一旦创建了表空间，那么就可以在创建数据库对象的时候引用它。 通过使用表空间，管理员可以控制一个OushuDB 安装的磁盘布局。这么做至少有两个用处。首先，如果初始化集群所在的分区或者卷用光了 阅读全文
posted @ 2021-12-28 18:27 数据舱酷 阅读(61) 评论(0) 推荐(1)
「OushuDB」用户指南数据定义 创建和管理数据库
摘要：概述 数据库是一些SQL对象(“数据库对象”)的集合；通常每个数据库对象(表、函数等)属于并且只属于一个数据库。不过有几个系统表 (比如pg_database)属于整个集群并且可以在集群之内的每个数据库里访问。更准确地说，一个数据库是一个模式的集合，而模式包含表、函数等等。因此完整的层次是这样的：服 阅读全文
posted @ 2021-12-28 18:26 数据舱酷 阅读(56) 评论(0) 推荐(0)
「OushuDB」版本升级 升级脚本使用说明
摘要：升级脚本使用说明 请注意留下足够的升级与测试时间，避免升级出现问题需要回退到老版本。另外，请在升级前做好元数据的备份工作，防止出现意外。 停止数据库集群 使用gpadmin用户登录服务器master节点 hawq stop cluster -a# 如果有正在执行的语句，并且你想要马上停止集群，你可以 阅读全文
posted @ 2021-12-28 18:24 数据舱酷 阅读(34) 评论(0) 推荐(0)
「OushuDB」版本升级 二进制替换升级步骤
摘要：请注意需要留下足够的升级与测试时间，避免升级出现问题需要回退到老版本。另外，请在升级前做好数据的备份工作，防止出现意外。 配置YUM源 如果是联网情况，在每一个节点上，可以直接下载Oushu Database YUM源文件： #Redhat/CentOS 7.0, 7.1, 7.2系统并且包含avx 阅读全文
posted @ 2021-12-28 18:23 数据舱酷 阅读(46) 评论(0) 推荐(0)
「OushuDB」版本升级 元数据表更改步骤
摘要：请注意需要留下足够的升级与测试时间，避免升级出现问题需要回退到老版本。另外，请在升级前做好数据的备份工作，防止出现意外。 替换二进制 在进行元数据表的更新前，需要先进行二进制的替换 停止偶数数据库集群 使用gpadmin用户登录服务器master节点 hawq stop cluster -a# 如果 阅读全文
posted @ 2021-12-28 18:23 数据舱酷 阅读(45) 评论(0) 推荐(0)
「OushuDB」命令行安装之 PostGIS
摘要：在每一个节点上安装PostGIS 安装PostGIS yum源： wget -P /etc/yum.repos.d/ $获取的repo地址 在oushum1上，通过“hawq scp”命令统一安装其他节点的YUM源： source /usr/local/hawq/greenplum_path.shh 阅读全文
posted @ 2021-12-28 18:22 数据舱酷 阅读(63) 评论(0) 推荐(0)
配置 OushuDB 连接 Secure HDFS (可选)
摘要：** 注意：HDFS可插拔存储外部表在kerberos环境下可以工作，需要OushuDB3.3.1.2以上版本 ** 准备工作 安装部署好Secure HDFS 安装部署好MIT Kerberos KDC 同步KDC和OushuDB cluster的系统时间 开始部署 登录KDC server，将K 阅读全文
posted @ 2021-12-28 18:22 数据舱酷 阅读(38) 评论(0) 推荐(0)
安装 OushuDB Ambari 插件
摘要：安装前提 我们假设用户已经安装了HDP Ambari，并且已经安装了HDFS和Zookeeper。安装步骤可以参考： https://docs.hortonworks.com/HDPDocuments/Ambari/Ambari-2.4.2.0/index.html https://docs.hor 阅读全文
posted @ 2021-12-28 18:22 数据舱酷 阅读(34) 评论(0) 推荐(0)
OushuDB 体验新执行器
摘要：本章节通过TPCH lineitem 表来展示新执行器的使用。 建立e_lineitem外部表用来生成TPCH lineitem 数据, CREATE EXTERNAL WEB TABLE E_LINEITEM ( L_ORDERKEY INT8 , L_PARTKEY INTEGER , L_SU 阅读全文
posted @ 2021-12-27 18:29 数据舱酷 阅读(12) 评论(0) 推荐(0)
OushuDB 如何安装与升级
摘要：如果您用的是Oushu Lava公有云，或者私有云2.0+，您可以通过Lava UI自动部署OushuDB，详情请见： http://oushu.io/docs/ch/lava-oushu.html。 如果您不使用Oushu Lava，只想单独部署OushuDB，请按照本节步骤安装。 首先在oush 阅读全文
posted @ 2021-12-27 18:28 数据舱酷 阅读(10) 评论(0) 推荐(0)
OushuDB 安装与升级之安装 HDFS
摘要：安装HDFS 由于hadoop依赖于特定版本的snappy，请先卸载snappy确保安装的顺利进行： hawq ssh -f hostfile -e 'yum remove -y snappy' HAWQ的HDFS采用HA的方式进行安装配置。安装Hadoop可执行文件。 hawq ssh -f ho 阅读全文
posted @ 2021-12-27 18:27 数据舱酷 阅读(54) 评论(0) 推荐(0)
OushuDB 安装与升级之安装 Zookeeper
摘要：如果您安装了Oushu Lava私有云，或者用的是Lava Cluod公有云，那么您不需要手动部署Zookeeper。在部署HDFS的过程中会自动部署Zookeeper。 创建一个zkhostfile包含要安装zookeeper的机器： touch zkhostfile 添加下面主机名到zkhost 阅读全文
posted @ 2021-12-27 18:26 数据舱酷 阅读(8) 评论(0) 推荐(0)
OushuDB 安装与升级之命令行安装的准备
摘要：安装准备 本节安装之前需要准备4台主机，各个节点上即将安装的组件如下表所示： IP 192.168.1.11 192.168.1.12 192.168.1.21 192.168.1.22 OushuDB Master primary standby no no OushuDB Segment no 阅读全文
posted @ 2021-12-20 14:48 数据舱酷 阅读(48) 评论(0) 推荐(0)
OushuDB 快速入手
摘要：快速入手 本节将通过RPM安装物理机版本的一个Centos/Redhat 7.x单节点集群。假设我们安装的服务器hostname为oushu（可以通过命令：hostname 直接获取，请将文中所有出现的oushu替换为实际的hostname）。此次部署大约需要您30分钟时间。 安装准备 首先使用ro 阅读全文
posted @ 2021-12-20 14:47 数据舱酷 阅读(64) 评论(0) 推荐(0)
OushuDB 函数/存储过程
摘要：OushuDB同PostgreSQL兼容，提供四类函数。每一类函数都可以带基础数据类型以及复合数据类型为参数，并且可以返回一个基础数据类型或者复合数据类型的值。函数也可以定义为返回基础数据类型或者复合数据类型值的集合。详细用法可参见PostgreSQL具体章节。 查询语言（SQL）函数: https 阅读全文
posted @ 2021-12-20 14:47 数据舱酷 阅读(21) 评论(0) 推荐(0)
OushuDB 数据库基本用法（中）
摘要：1、概述 一个OushuDB集群管理着多个数据库（database），每个数据库又包含多个模式（schema）, 一个模式包含多个对象（表，视图，函数等），所以这些对象之间的层级结构为： database -> schema -> (tables, functions, views) 每个模式，表， 阅读全文
posted @ 2021-12-20 14:45 数据舱酷 阅读(11) 评论(0) 推荐(0)
OushuDB 数据库基本用法 （上）
摘要：1、启动/停止OushuDB 启动OushuDB有两种方式，一种是通过”hawq start cluster”命令来启动整个集群，包括master和segment。启动哪些segment是由”/hawq-install-path/etc/slaves”中包含的节点确定的。 source /usr/l 阅读全文
posted @ 2021-12-20 14:44 数据舱酷 阅读(66) 评论(0) 推荐(0)
OushuDB 事物、资源管理、存储
摘要：1、事务管理 事务是数据管理系统一个非常重要的属性。大部分Hadoop里面的SQL引擎不支持事务。让程序员自己保证事务和数据的一致性是非常困难的事。 OushuDB支持事务的所有ACID属性，支持Snapshot Isolation。事务发生由Master节点协调和控制。采用的是泳道模型。并发插入时 阅读全文
posted @ 2021-12-20 14:44 数据舱酷 阅读(7) 评论(0) 推荐(0)
OushuDB 高速互联网络
摘要：高速互联网络的作用是在多个节点之间交换大量数据。OushuDB高速互联网络基于UDP协议。大家可能会疑问为什么OushuDB不使用TCP。其实OushuDB同时支持TCP和UDP两种协议，TCP协议实现早于UDP协议。但是因为我们遇到了TCP不能很好解决的高连接数并发问题，我们才开发了基于UDP的协 阅读全文
posted @ 2021-12-16 18:34 数据舱酷 阅读(30) 评论(0) 推荐(0)
OushuDB 执行器介绍
摘要：查询执行流程 图3. 查询执行流程 用户通过JDBC/ODBC提交查询之后，查询解析器解析查询得到查询树，然后优化器根据查询树生成查询计划，派遣器和资源管理器交互得到资源，分解查询计划，然后派遣计划到Segment的执行器上面执行。最终结果会传回给用户。 弹性调度执行 弹性执行引擎有几个关键设计点： 阅读全文
posted @ 2021-12-16 18:33 数据舱酷 阅读(35) 评论(0) 推荐(0)
OushuDB 体系架构概览
摘要：图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离，可以独立扩容。在图中有多个OushuDB Master节点。元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segm 阅读全文
posted @ 2021-12-16 18:32 数据舱酷 阅读(32) 评论(0) 推荐(0)
【OushuDB】Oushu Database 简介
摘要：Oushu Database（简称OushuDB）是由Apache HAWQ创始团队打造的新一代云原生数据仓库，该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展，遵循ANSI-SQL标准，具有极速执行器，提供P 阅读全文
posted @ 2021-12-16 18:30 数据舱酷 阅读(147) 评论(0) 推荐(0)
OushuDB 管理指南之资源管理
摘要：资源管理简介 在任意时刻，OushuDB中可能有很多个并发的查询在运行。这些查询属于不同的用户。用户的优先级可能有高有低。我们需要一种方式 来合理的给各个用户分配其可以使用的系统资源，包括CPU和内存等。 OushuDB使用资源队列（Resource Queues）来管理整个系统的资源。每一个Ous 阅读全文
posted @ 2021-12-16 18:04 数据舱酷 阅读(22) 评论(0) 推荐(0)
OushuDB 管理指南 备份恢复
摘要：1. 使用gpfdist外部表方式 使用gpfdist外部表进行备份的步骤： 检查数据库的大小，确定gpfdist使用的文件系统有充分的空间 使用pg_dump导出需要备份的数据schema 启动gpfdist并创建使用gpfdist的writable外部表 备份数据 具体命令可以参考gpfdist 阅读全文
posted @ 2021-12-16 11:37 数据舱酷 阅读(50) 评论(0) 推荐(0)