摘要：
一、cep的来源 事件流上进行高效地模式匹配的两个挑战： 要求丰富的语言特性：在事件流上进行模式匹配的语言明显要比用正则表达式进行模式匹配的语言所需要的能力丰富得多。这些事件模式语言需要包含对表达序列、Kleene闭包、否定以及复杂断言的构建， 同时还包含从混杂着相关、不相关事件的输入流中提取相关事 阅读全文
posted @ 2021-12-07 17:42
持枢
阅读(88)
评论(0)
推荐(0)
摘要：
一、FlinkSQL 动态表，流表二象性。所谓动态表，就是数据会随着时间变化的表，可以想象成就是数据库中一张被不断更新的表。 二、流式 SQL 可以想象成连续查询 连续查询会一直运行在那里，当每个数据到来，都会持续增量地更新计算结果，从而产生另一个动态表。而这个结果动态表（也就是流）会作为另一个 S 阅读全文
posted @ 2021-12-07 16:58
持枢
阅读(599)
评论(0)
推荐(0)
摘要：
一、 计算资源是指用来执行 Task 的资源，是一个逻辑概念。Flink 如何对计算资源进行管理和隔离，如何将计算资源利用率最大化等等。理解 Flink 中的计算资源对于理解 Job 如何在集群中运行的有很大的帮助，也有利于我们更透彻地理解 Flink 原理，更快速地定位问题。 1、Operator 阅读全文
posted @ 2021-12-07 14:48
持枢
阅读(279)
评论(0)
推荐(0)
摘要：
一、jobmanage JobManager负责接收 flink 的作业，调度 task，收集 job 的状态、管理 TaskManagers。jobmanage启动，再启动task。 二、taskmanage 所有执行任务的基本容器，提供了内存管理、IO管理、通信管理等。 将所有对象序列化后放在自 阅读全文
posted @ 2021-12-07 14:38
持枢
阅读(1028)
评论(0)
推荐(0)
摘要：
人才：难进易出 庸才：易进易出 小人：易进难出：语无伦次，心生毒计， 看眼睛，眼珠闪动 四白眼，横死， 三角眼，心生毒计 望人看神：看眼神，眼珠要正，眼睛不必要大，要有神，越长越好，越细，有大智慧，判断力很强 阅读全文
posted @ 2021-12-07 11:38
持枢
阅读(437)
评论(0)
推荐(0)
摘要：
一、本地模式下的excute 根据代码生成streamGraph，再生成jobGraph，发送给Flink生成task，将JobGraph和配置交给flink集群去运行，启动任务。 二、远程模式下excute 第一步仍然是获取StreamGraph，然后调用executeRemotely方法进行远程 阅读全文
posted @ 2021-12-07 11:36
持枢
阅读(616)
评论(0)
推荐(0)
摘要：
一、大数据的处理：流批的对比 流处理相较于批处理，时效性更高，延迟低 流处理更加均匀的分配计算能力，产生更一致，可预估的资源消耗 二、什么是流 无限数据集，对无限数据集的处理 三、流处理能做什么 低延迟，不准确/近似结果，结合批处理得到正确结果。lambada架构，流处理一遍得到低延迟，不准确的结果 阅读全文
posted @ 2021-12-07 00:02
持枢
阅读(394)
评论(0)
推荐(0)
浙公网安备 33010602011771号