随笔分类 -  flink技术

flink技术分享，实操心得分享
Flink 源码阅读环境搭建并调试 Flink-Clients 模块
摘要：本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码 读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生 阅读全文
posted @ 2021-01-28 22:08 KK架构 阅读(555) 评论(0) 推荐(0)
Flink SQL 核心概念剖析与编程案例实战
摘要：本次，我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念，并附带完整的示例程序，希望对大家有帮助！ 本文大纲 一、快速体验 Flink SQL 为了快速搭建环境体验 Flink SQL，我们使用 Docker 来安装一些基础组件，包括 zk 和 kafka，如果你有这个环境，可以略 阅读全文
posted @ 2021-01-08 09:32 KK架构 阅读(1873) 评论(0) 推荐(0)
Flink 编程接口
摘要：欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界 阅读全文
posted @ 2019-09-22 21:52 KK架构 阅读(1000) 评论(0) 推荐(0)
Flink JobManager 和 TaskManager 原理
摘要：一、概述 Flink 整个系统主要由两个组件组成，分别为 JobManager 和 TaskManager，Flink 架构也遵循 Master - Slave 架构设计原则，JobManager 为 Master 节点，TaskManager 为 Worker （Slave）节点。 所有组件之间的 阅读全文
posted @ 2019-09-21 10:48 KK架构 阅读(12541) 评论(0) 推荐(1)
一文带你了解 Flink 的基本组件栈
摘要：作为实时计算领域的佼佼者，Flink 的基本组件同样值得我们仔细研究。 Flink 同样遵循着分层的架构设计理念，在降低系统耦合的同时，也为上层用户构建 Flink 应用提供了丰富且友好的接口。 Flink 分层架构，从上到下依次是：API & Libraries 层、Runtime 核心层 和 物 阅读全文
posted @ 2019-09-19 22:02 KK架构 阅读(1747) 评论(0) 推荐(1)
flink有什么优势值得大家这么热衷
摘要：flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。 同时 flink 支持高度容错的状态管理，防止状态在计算过程中因为系统异常而丢失，flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护，使得即使在系 阅读全文
posted @ 2019-09-19 00:10 KK架构 阅读(3172) 评论(0) 推荐(1)
实时计算数据架构的演变
摘要：flink架构演变 阅读全文
posted @ 2019-09-18 23:46 KK架构 阅读(1426) 评论(0) 推荐(1)