摘要：
广播状态模式 在本节中，您将了解如何在实践中使用广播状态。请参考状态流处理，了解状态流处理背后的概念。 提供的API 为了展示所提供的API，我们将在介绍它们的全部功能之前先举一个例子。作为我们的运行示例，我们将使用这样的情况：我们有一个不同颜色和形状的对象流，我们希望找到相同颜色的对象对，并遵循特 阅读全文
posted @ 2021-01-03 17:32
田野与天
阅读(170)
评论(0)
推荐(0)
摘要：
有状态程序 在本节中，您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 带键值的数据流 如果要使用键控状态，首先需要在DataStream上指定一个键，这个键应该用来分割状态（也包括流中的记录本身）。你可以在D 阅读全文
posted @ 2020-12-29 00:49
田野与天
阅读(265)
评论(0)
推荐(0)
摘要：
状态和容错 在本节中，您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 下一步去哪里？ Working with State: Shows how to use state in a Flink applica 阅读全文
posted @ 2020-12-29 00:34
田野与天
阅读(127)
评论(0)
推荐(0)
摘要：
内置水印生成器 正如在Generating Watermarks一文中所描述的，Flink提供了抽象，允许程序员分配自己的时间戳和发射自己的水印。更具体地说，可以通过实现WatermarkGenerator接口来实现。 为了进一步简化此类任务的编程工作，Flink自带了一些预先实现的时间戳分配器。本 阅读全文
posted @ 2020-12-29 00:32
田野与天
阅读(212)
评论(0)
推荐(0)
摘要：
生成水印 在本节中，您将了解 Flink 提供的 API，用于处理事件时间时间戳和水印。关于事件时间、处理时间和摄取时间的介绍，请参考事件时间的介绍。 水印策略介绍 为了使用事件时间，Flink需要知道事件的时间戳，这意味着流中的每个元素都需要分配其事件时间戳。这通常是通过使用TimestampAs 阅读全文
posted @ 2020-12-29 00:29
田野与天
阅读(435)
评论(0)
推荐(0)
摘要：
事件时间 在本节中，您将学习如何编写时间感知的Flink程序。请看一下及时流处理，了解及时流处理背后的概念。 关于如何在Flink程序中使用时间的信息请参考windowing和ProcessFunction。 需要注意的是，为了使用事件时间感知操作，程序需要使用直接为数据定义事件时间并自己发射水印的 阅读全文
posted @ 2020-12-29 00:20
田野与天
阅读(337)
评论(0)
推荐(0)
摘要：
执行模式(批处理/流处理) DataStream API 支持不同的运行时执行模式，您可以根据用例的要求和作业的特点从中选择。DataStream API 有一种 "经典 "的执行行为，我们称之为 STREAMING 执行模式。这应该用于需要连续增量处理并预计无限期保持在线的非绑定作业。此外，还有一 阅读全文
posted @ 2020-12-29 00:18
田野与天
阅读(522)
评论(0)
推荐(0)
摘要：
Flink DataStream API编程指南 Flink中的DataStream程序是对数据流实现转换的常规程序（如过滤、更新状态、定义窗口、聚合）。数据流最初是由各种来源（如消息队列、套接字流、文件）创建的。结果通过汇流返回，例如可以将数据写入文件，或标准输出（例如命令行终端）。Flink程序 阅读全文
posted @ 2020-12-29 00:01
田野与天
阅读(204)
评论(0)
推荐(0)
摘要：
术语表 Flink Application Cluster Flink应用集群是一个专用的Flink集群，它只执行一个Flink应用的Flink作业。Flink集群的寿命与Flink应用的寿命绑定。 Flink Job Cluster Flink Job Cluster是一个专用的Flink Clu 阅读全文
posted @ 2020-12-28 23:42
田野与天
阅读(138)
评论(0)
推荐(0)
摘要：
Flink架构 Flink是一个分布式系统，为了执行流式应用，需要对计算资源进行有效的分配和管理。它集成了所有常见的集群资源管理器，如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置为独立集群甚至作为库运行。 本节包含对Flink架构的概述，并描述其主要组件如何交 阅读全文
posted @ 2020-12-28 23:27
田野与天
阅读(218)
评论(0)
推荐(0)
浙公网安备 33010602011771号