Fork me on GitHub

使用 Minio 和 Microsoft SQL Server 2022 组合访问 Data Anywhere

image

Microsoft SQL Server 2022中,对象存储通过一种称为外部表的技术成为一等公民。有两个部分。首先,一个 S3 连接器。其次,增强了 Polybase 数据虚拟化框架。

有了这个附加功能,企业现在可以使用 SQL Server 2022 查询海量对象存储——无论这些对象存储在哪里。新功能解决了两个关键的客户挑战 - 访问数据的方式以及无需学习新语言。

借助 MinIO,数据可以在任何地方——公共云基础设施、私有云、Kubernetes 分布、边缘。

使用 Minio 和 Microsoft SQL Server 2022 组合访问 Data Anywhere

Microsoft SQL Server 2022 具有 MinIO 用户可以利用的两个关键功能。


首先,它使数据库管理员能够使用 S3 API 将数据备份和恢复到任何云环境。其次,SQL Server 2022 扩展了最初在 SQL Server 2016 中引入的外部表功能。

外部表允许用户对未直接存储在 SQL Server 中的数据运行查询。这让用户可以在架构上灵活地在他们想要的地方运行 SQL Server,并将数据存储在他们想要的位置和方式,同时保留在不移动数据的情况下查询该数据的能力。新的外部表功能现在允许它访问所有通常支持的文件格式以及 Parquet 和 S3 面向对象的存储。

这将极大地扩展 SQL 服务器可以查询的数据量。

例如,企业可以在 Azure 中运行 SQL Server。以前,他们将数据移动到 Azure/SQL 服务器来进行查询。现在,企业可以在本地访问该数据,而无需将数据移动到任何地方。这意味着这些查询可以针对 PB 大小的数据集运行。

架构选择变得几乎是无限的。在本地运行 SQL Server 并访问云中的数据。在本地运行 SQL Server 并访问私有云中的数据。在云中运行 SQL Server 并在边缘访问数据。使用 MinIO 和 SQL Server 构建具有主动-主动、多云复制的容错分析系统。主要考虑因素是性能,它们由 SQL Server 和数据的相对位置决定。

诀窍是优化部署。所有对象存储都将受益于外部表功能,但 MinIO 受益不成比例。原因很简单,在企业数据分布在多个云中的世界中,一致性很重要。MinIO 可以作为公共云、私有云和边缘的数据存储。作为一致的数据层,安全性、访问管理、弹性和生命周期管理也是一致的。性能可以保持一致,也可以根据业务需求分层——而其他一切都保持不变。

在 SQL Server 2022 中执行此操作的机制是通过称为 Polybase 的数据虚拟化功能。

Polybase 允许用户使用 Transact-SQL 直接从 SQL Server 以及大多数其他数据库安装(如 Oracle、Teradata、MongoDB 等)以及现在的 S3 API 查询数据。MinIO 提供了访问所有超大规模云环境的独特功能。两者(SQL Server 2022 和 MinIO)的结合使企业能够访问数据并从数据孤岛中获得洞察力,到目前为止,这些孤岛是分段且难以组合的。 

PolyBase 的一个关键特性是允许数据保留在其原始位置和格式中。可以像 SQL Server 中的任何其他表一样就地查询外部数据。此方案最大限度地减少了数据移动和数据复制的需求。数据复制带来的最大问题之一是协调,企业浪费了数千个工时和计算能力,每晚都在协调数据。 

SQL Server 2022 允许将数据连续复制到云和从云中复制,从而实现灾难恢复功能。与 MinIO 的组合允许快速数据驻留在基于 NVMe 的快速数据引擎上,并将其分层到任意数量的较慢层。这些组件并行运行,使您能够使用 Transact-SQL 或 Spark 库读取、写入和处理大数据,从而使您能够轻松地将高价值关系数据与非关系大容量大数据组合和分析。

此外,SQL Server 2022 与 Active Directory 集成,并包括基于角色的访问控制,以满足企业的安全性和合规性需求。

posted @ 2022-06-14 15:22  张善友  阅读(558)  评论(0编辑  收藏  举报