摘要：
阅读全文
posted @ 2020-08-05 13:11
秋华
阅读(436)
评论(0)
推荐(0)
摘要：
什么是Table API和Flink SQL Flink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运 阅读全文
posted @ 2020-08-04 14:45
秋华
阅读(1352)
评论(0)
推荐(0)
摘要：
什么是复杂事件CEP？ 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。 特征： 目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件 输出：满足 阅读全文
posted @ 2020-08-04 14:23
秋华
阅读(1593)
评论(0)
推荐(0)
摘要：
1 部署方式 1.1 独立集群 独立集群包含至少一个master进程，以及至少一个TaskManager进程，TaskManager进程运行在一台或者多台机器上。所有的进程都是JVM进程。下图展示了独立集群的部署。 master进程在不同的线程中运行了一个Dispatcher和一个ResourceM 阅读全文
posted @ 2020-08-04 14:03
秋华
阅读(857)
评论(0)
推荐(0)
摘要：
0 简介 数据可以存储在不同的系统中，例如：文件系统，对象存储系统（OSS），关系型数据库，Key-Value存储，搜索引擎索引，日志系统，消息队列，等等。每一种系统都是给特定的应用场景设计的，在某一个特定的目标上超越了其他系统。今天的数据架构，往往包含着很多不同的存储系统。在将一个组件加入到我们的 阅读全文
posted @ 2020-08-04 12:25
秋华
阅读(2460)
评论(0)
推荐(0)
摘要：
状态操作符和用户自定义函数都是我们在写流处理程序时，常用的工具。事实上，大部分稍微复杂一点的逻辑都需要保存数据或者保存计算结果。很多Flink内置的操作符例如：source操作符，sink操作符等等都是有状态的，也就是说会缓存流数据或者计算结果。例如，窗口操作符将会为ProcessWindowFun 阅读全文
posted @ 2020-08-04 11:51
秋华
阅读(1617)
评论(0)
推荐(0)
摘要：
1 基于时间的双流Join 数据流操作的另一个常见需求是对两条数据流中的事件进行联结（connect）或Join。Flink DataStream API中内置有两个可以根据时间条件对数据流进行Join的算子：基于间隔的Join和基于窗口的Join。本节我们会对它们进行介绍。 如果Flink内置的J 阅读全文
posted @ 2020-08-04 11:34
秋华
阅读(956)
评论(0)
推荐(0)
摘要：
1 窗口操作符 窗口操作是流处理程序中很常见的操作。窗口操作允许我们在无限流上的一段有界区间上面做聚合之类的操作。而我们使用基于时间的逻辑来定义区间。窗口操作符提供了一种将数据放进一个桶，并根据桶中的数据做计算的方法。例如，我们可以将事件放进5分钟的滚动窗口中，然后计数。 无限流转化成有限数据的方法 阅读全文
posted @ 2020-08-03 23:21
秋华
阅读(778)
评论(0)
推荐(0)
摘要：
在本章，我们将要学习DataStream API中处理时间和基于时间的操作符，例如窗口操作符。 首先，我们会学习如何定义时间属性，时间戳和水位线。然后我们将会学习底层操作process function，它可以让我们访问时间戳和水位线，以及注册定时器事件。接下来，我们将会使用Flink的window 阅读全文
posted @ 2020-08-03 22:24
秋华
阅读(919)
评论(0)
推荐(0)
摘要：
1 设置并行度 Flink应用程序在一个像集群这样的分布式环境中并行执行。当一个数据流程序提交到作业管理器执行时，系统将会创建一个数据流图，然后准备执行需要的操作符。每一个操作符将会并行化到一个或者多个任务中去。每个算子的并行任务都会处理这个算子的输入流中的一份子集。一个算子并行任务的个数叫做算子的 阅读全文
posted @ 2020-08-03 21:34
秋华
阅读(1099)
评论(0)
推荐(0)
浙公网安备 33010602011771号