随笔分类 -  FLINK1.17 / Flink概念

摘要:Flink 架构 # Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器,例如Hadoop YARN,但也可以设置作为独立集群甚至库运行。 本节概述了 Flink 架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink 阅读全文
posted @ 2024-06-15 16:02 自在现实 阅读(87) 评论(0) 推荐(0)
摘要:及时流处理# 介绍# 及时流处理是有状态流处理其中时间在计算中起了一些作用。在进行时间序列分析时,基于特定时间段(通常称为窗口)进行聚合时,或者在事件发生时间非常重要的情况下进行事件处理时,都会出现这种情况。 在接下来的章节中,我们将重点介绍在使用适时Flink应用程序时应该考虑的一些主题。 返回页 阅读全文
posted @ 2024-06-15 15:45 自在现实 阅读(93) 评论(0) 推荐(0)
摘要:有状态流处理# 什么是状态?# 虽然数据流中的许多操作只是查看一个个体一次事件(例如事件解析器),有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为宏伟威严的. 有状态操作的一些例子: 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件时,状 阅读全文
posted @ 2024-06-15 15:37 自在现实 阅读(153) 评论(0) 推荐(0)
摘要:Flink 中的 API # Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Programming levels of abstraction Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function,并且 Process Functio 阅读全文
posted @ 2024-06-15 15:18 自在现实 阅读(58) 评论(0) 推荐(0)