摘要:前四篇文章带大家通过 Azure Synapse Analysis 服务的内置的 ETL 能力,实现了上游 CosmosDB 内的 Transaction 数据的增量数据(CDC)推送至下游的数据仓库内。通过 Azure Synapse Analysis 类似的方式,我们可以针对不同上游数据系统 C 阅读全文
posted @ 2020-08-05 15:42 wekang 阅读(1) 评论(0) 推荐(0) 编辑
摘要:上一篇我们介绍到通过 Date Warehouse T-SQL Script 来实现 CDC 数据的 ETL 和 Update,本篇 Blog 带大家通过 Data Factory 工具将该数据处理水线实现自动话,大体思路是将前面的 Data Warehouse ETL 和 Update 通过存储过 阅读全文
posted @ 2020-07-13 23:09 wekang 阅读(13) 评论(0) 推荐(0) 编辑
摘要:前一篇 Blog 中我们完成了通过 Azure Function 完了从上游 Cosmos DB ChangeFeed 数据的抽取并转存至 Azure Data Lake 中。回顾一下整个演示方案架构,后续我们需要在 Azure Data Warehouse 中拉入增量数据 CDC(Change D 阅读全文
posted @ 2020-07-13 18:17 wekang 阅读(14) 评论(0) 推荐(0) 编辑
摘要:继续上一篇的内容,本文将为大家介绍将 ChangeFeed 抽取逻辑通过 Azure Function 服务实现,架构图如下,通过 Function 服务来执行 ChangeFeed 的读取,并将其转存至 DataLake 存储中。 在前文最后我们介绍了通过 Function 服务可以简化整个逻辑的 阅读全文
posted @ 2020-07-13 14:40 wekang 阅读(18) 评论(0) 推荐(0) 编辑
摘要:上一篇为大家整体介绍了 Azure Synapse Analysis 和 Synapse Link,本篇开始为大家介绍前面介绍的 DIY 方案中的第一部分,Cosmos DB Change Feed。我们来回顾一下整个架构: 对 OLTP 中的数据向下游数据服务进行同步时通常有两种做法,全量同步和增 阅读全文
posted @ 2020-07-13 11:17 wekang 阅读(21) 评论(0) 推荐(0) 编辑
摘要:当今企业数字化转型,企业从传统的历史数据洞察获取认知,到实时数据洞察认知,再到未来预测洞察,AI + Data 是重要的两架马车。巧妇难为无米之炊,如何简单及时的从数据中获得洞察支撑决策?简单,是否有易用快捷的平台可以快速发现数据,分析数据并展现数据。及时,时间是试错成本的重要因子,是否有平台方案帮 阅读全文
posted @ 2020-07-13 09:37 wekang 阅读(24) 评论(0) 推荐(0) 编辑
摘要:童鞋们大家好,今儿是个好日子,Azure NAT Gateway 从 Azure 21v 的 Portal 上蹦了出来,一通操作(quadra click)创建好了,开个机器试试,还行好使,看来并没有挂在墙上。那今儿就说说 Azure VNet 内如何选择 Outbound 流量的打开方式吧,。 1 阅读全文
posted @ 2020-05-07 17:14 wekang 阅读(295) 评论(0) 推荐(0) 编辑
摘要:今天小文一篇介绍 Azure Managed Disk 的增量快照功能。在增量快照功能之前,对于托管磁盘,用户只能通过全量的方式对磁盘进行快照,快照成本不优;其次对于快照做异地备份恢复场景,全量快照同样会增加备份的时间并带来额外流量费用。通过 Azure Managed Disk 对于增量快照的支持 阅读全文
posted @ 2020-03-31 09:42 wekang 阅读(99) 评论(0) 推荐(0) 编辑
摘要:大家好,今天以此小文来说一说 Azure Database for MySQL 的多云容灾。作为任何一家云的 RDS PaaS 服务所有的可用性都是用白纸黑字的 SLA 支撑的,无论是4个9还是 n 个9 都意味着有 outage 的可能性, Everything fails all the tim 阅读全文
posted @ 2020-03-25 16:02 wekang 阅读(468) 评论(0) 推荐(0) 编辑
摘要:节前不打烊,以此小文提前预祝大家鼠年大吉。最近和小伙伴们沟通发现,经常有系统出现证书过期的问题,究其原因主要是1. 证书后台自动 renew 了但是系统并没有及时更新 2. 因为没有邮件提醒所以忽略的证书过期。针对上述问题,目前在 Azure 平台内大部分的 PaaS 服务都已经内置了证书自动更新的 阅读全文
posted @ 2020-01-20 18:00 wekang 阅读(372) 评论(0) 推荐(0) 编辑