摘要:上一篇我们介绍到通过 Date Warehouse T-SQL Script 来实现 CDC 数据的 ETL 和 Update,本篇 Blog 带大家通过 Data Factory 工具将该数据处理水线实现自动话,大体思路是将前面的 Data Warehouse ETL 和 Update 通过存储过 阅读全文
posted @ 2020-07-13 23:09 wekang 阅读(45) 评论(0) 推荐(0) 编辑
摘要:前一篇 Blog 中我们完成了通过 Azure Function 完了从上游 Cosmos DB ChangeFeed 数据的抽取并转存至 Azure Data Lake 中。回顾一下整个演示方案架构,后续我们需要在 Azure Data Warehouse 中拉入增量数据 CDC(Change D 阅读全文
posted @ 2020-07-13 18:17 wekang 阅读(46) 评论(0) 推荐(0) 编辑
摘要:继续上一篇的内容,本文将为大家介绍将 ChangeFeed 抽取逻辑通过 Azure Function 服务实现,架构图如下,通过 Function 服务来执行 ChangeFeed 的读取,并将其转存至 DataLake 存储中。 在前文最后我们介绍了通过 Function 服务可以简化整个逻辑的 阅读全文
posted @ 2020-07-13 14:40 wekang 阅读(48) 评论(0) 推荐(0) 编辑
摘要:上一篇为大家整体介绍了 Azure Synapse Analysis 和 Synapse Link,本篇开始为大家介绍前面介绍的 DIY 方案中的第一部分,Cosmos DB Change Feed。我们来回顾一下整个架构: 对 OLTP 中的数据向下游数据服务进行同步时通常有两种做法,全量同步和增 阅读全文
posted @ 2020-07-13 11:17 wekang 阅读(52) 评论(0) 推荐(0) 编辑
摘要:当今企业数字化转型,企业从传统的历史数据洞察获取认知,到实时数据洞察认知,再到未来预测洞察,AI + Data 是重要的两架马车。巧妇难为无米之炊,如何简单及时的从数据中获得洞察支撑决策?简单,是否有易用快捷的平台可以快速发现数据,分析数据并展现数据。及时,时间是试错成本的重要因子,是否有平台方案帮 阅读全文
posted @ 2020-07-13 09:37 wekang 阅读(65) 评论(0) 推荐(0) 编辑