摘要:Vol.1 实时数仓的发展 在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面无法形成完整的体系,实时数仓更多是以实时计算的形式存在,作为离线数仓的辅助,主要使用的技术也是Storm或Spark Streaming。基本所有的实时任务都是具体问题具体分析,来一个需求做一个,基本不考
阅读全文
11 2021 档案
摘要:一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器,目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据,2.1 版本社区确定会支持 Oracle,MongoDB 数据源。 Fink
阅读全文
摘要:简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。 例如: 如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行改任务需10小时。 采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依
阅读全文
摘要:“戒备”与“偏见” 几年前,我所在的一家传统行业的头部企业启动了一系列数字化转型项目,在配套的 IT 基础设施建设上,“上云”已是大势所趋。 在此前数年的工作中,我断断续续地使用着公有云产品,大多数情况下,我们只选择 IaaS 层级的服务,也就是只使用虚拟实例,对 PaaS 和云平台特定的 Serv
阅读全文
摘要:https://blog.csdn.net/h335146502/article/details/106434544/?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~defaul
阅读全文
摘要:https://blog.csdn.net/penriver/article/details/120563186?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRL
阅读全文