摘要:
CloudCanal 最近对于全周期数据流动进行了初步探索,打通了
Hive 目标端的实时同步,为实时数仓的构建提供了支持,这篇文章简要做下分享。 阅读全文
CloudCanal 最近对于全周期数据流动进行了初步探索,打通了
Hive 目标端的实时同步,为实时数仓的构建提供了支持,这篇文章简要做下分享。 阅读全文
posted @ 2024-03-01 14:30
clougence
阅读(93)
评论(0)
推荐(0)
CloudCanal 最近对于全周期数据流动进行了初步探索,打通了
Hive 目标端的实时同步,为实时数仓的构建提供了支持,这篇文章简要做下分享。 阅读全文
简介 CloudCanal 推出 跨互联网安全数据同步 方案之后,有一些商业客户落地,效果良好,不过客户也反馈了一些改进和新需求,其中最大的一个需求即双向同步防循环。 近期 CloudCanal 版本支持了这个特性,整体方案进一步升级,最大特点包括: 两端数据库完全不开放公网端口 两端数据库可双向同 阅读全文
简述 CloudCanal 近期对 Hana 源端链路做了新一轮优化,优化点主要来自用户实际场景使用,这篇文章简要做下分享。 本轮优化主要包含: 新增任务级增量表 新增增量表定时清理能力 新增增量表表结构自动演进能力 任务延迟判定优化 Hana 1.x 的兼容 产品化和文档优化 优化点 任务级增量表 阅读全文
简述 CloudCanal 前一段时间支持了 Redis 到 Redis 数据迁移同步能力,并支持其双向同步,但是支持的指令种类有限。 随着用户使用,指令支持不全面成为一个比较大的问题,所以最近的版本,我们对此能力,结合用户实际碰到的问题,进行了新一轮优化。 此轮优化的特点是: 增加数据初始化的类型 阅读全文
本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例 阅读全文
背景 StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓,不仅数据检索、分析能力出众,而且数据准备实时性好、准确度高、使用丝滑,可如同在线数据库般使用。 CloudCanal 在早期即支持此两种实时数仓,并且经过多次迭代,无论功能、性能、稳定性都趋于成熟。 不过正儿八经 阅读全文
背景 对于将数据作为重要生产资料的公司来说,超大规模的数据迁移同步系统( 1k、5k、10k 条同步任务)是刚需。 本文以此为出发点,介绍近期 CloudCanal 所做的一个容量测试:在单个 CloudCanal 集群上创建 1300 实时任务,验证系统是否健康。 这个健康度主要包括 同步任务是否 阅读全文
简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代,版本一路从 6.x,7.x 支持到 8.x 版本,也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎,所以很有必要对比下市面上我们能够比较 阅读全文
简述 SAP HANA 是由 SAP 开发的一款内存列式数据库, 具有预测分析、空间数据处理、文本分析、文本搜索、流分析、图形数据处理等高级分析功能。 HANA 内存列式数据库特性,即启动后可以把所有数据载入内存,相比传统基于硬盘的数据库,性能提升10~10,000倍。 HANA 一般内置在 SAP 阅读全文
## 简介 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230825) 近期发布了 [GaussDB for MySQL](https://www.huaweicloud.com/product/gaussdbformysql.html)和 阅读全文