摘要：
1、Flink运行时的组件 Flink运行时架构主要包括四个不同的组件，他们会在运行流处理应用程序时协同工作： 作业管理器（JobManager） 资源管理器（ResourceManager） 任务管理器（TaskManager） 分发器（Dispatcher） 1.1 作业管理器（JobManag 阅读全文
posted @ 2020-03-25 17:40
hyunbar
阅读(479)
评论(0)
推荐(0)
摘要：
流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收水位数据，并在水位超过指定高度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如，计算过去一小时的平均水位，就是有状态的计算。 所有用于 阅读全文
posted @ 2020-03-25 17:38
hyunbar
阅读(3018)
评论(0)
推荐(0)
摘要：
当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还 阅读全文
posted @ 2020-03-25 17:36
hyunbar
阅读(505)
评论(0)
推荐(0)
摘要：
Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这 阅读全文
posted @ 2020-03-25 17:35
hyunbar
阅读(3447)
评论(0)
推荐(0)
摘要：
1、Flink中的时间语义 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time: 是时间创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳 Ingestion Time：数据进入F 阅读全文
posted @ 2020-03-25 17:34
hyunbar
阅读(612)
评论(0)
推荐(0)
浙公网安备 33010602011771号