09 2019 档案

摘要:欢迎来 kk大数据,今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中,所有的数据都是以流式的形态产生的,不管是哪里产生的数据,在产生的过程中都是一条条地生成,最后经过了存储和转换处理,形成了各种类型的数据集。 根据现实世界中,数据产生方式和数据产生是否含有边界 阅读全文
posted @ 2019-09-22 21:52 KK架构 阅读(1013) 评论(0) 推荐(0)
摘要:一、概述 Flink 整个系统主要由两个组件组成,分别为 JobManager 和 TaskManager,Flink 架构也遵循 Master - Slave 架构设计原则,JobManager 为 Master 节点,TaskManager 为 Worker (Slave)节点。 所有组件之间的 阅读全文
posted @ 2019-09-21 10:48 KK架构 阅读(12566) 评论(0) 推荐(1)
摘要:作为实时计算领域的佼佼者,Flink 的基本组件同样值得我们仔细研究。 Flink 同样遵循着分层的架构设计理念,在降低系统耦合的同时,也为上层用户构建 Flink 应用提供了丰富且友好的接口。 Flink 分层架构,从上到下依次是:API & Libraries 层、Runtime 核心层 和 物 阅读全文
posted @ 2019-09-19 22:02 KK架构 阅读(1756) 评论(0) 推荐(1)
摘要:flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。 同时 flink 支持高度容错的状态管理,防止状态在计算过程中因为系统异常而丢失,flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护,使得即使在系 阅读全文
posted @ 2019-09-19 00:10 KK架构 阅读(3206) 评论(0) 推荐(1)
摘要:flink架构演变 阅读全文
posted @ 2019-09-18 23:46 KK架构 阅读(1438) 评论(0) 推荐(1)