-星星点灯丶 - 博客园

2020年12月24日

摘要： Flink中的状态：算子状态（Operatiot State）键控状态（Keyed State）状态后端（State Backends）由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为就是一个本地变量，可以被任务的业务逻辑访问 Flink会进行状态管理，包括状态阅读全文

posted @ 2020-12-24 22:54 -星星点灯丶阅读(38) 评论(0) 推荐(0) 编辑

2020年12月20日

Flink-时间语义和Watermark

摘要： Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关 Flink中默认的时间语义是Processing Time；如果使用EventTime语义，但是数据中不一定会有Event Time 阅读全文

posted @ 2020-12-20 22:48 -星星点灯丶阅读(52) 评论(0) 推荐(0) 编辑

2020年12月17日

Flink-Window

摘要： Window类型：滚动窗口（Tumbling Window）将数据依据固定的窗口长度对数据进行切分窗口长度固定（窗口依据时间或者数量划分），每个窗口数据没有重叠滑动窗口（Sliding Window）滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动步长组成窗口长度固定阅读全文

posted @ 2020-12-17 23:10 -星星点灯丶阅读(84) 评论(0) 推荐(0) 编辑

2020年12月16日

Flink-运行时架构

摘要：一、flink运行时组件： 1、JobManager（作业管理器）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。 JobManager会先接收到要执行的应用程序，这个应用程序包括：作业图（JobGraph）、逻辑数据流图（logical dat 阅读全文

posted @ 2020-12-16 23:44 -星星点灯丶阅读(111) 评论(0) 推荐(0) 编辑

2020年12月14日

Flink-流处理wordcount

摘要： public class StreamWordCount { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.g 阅读全文

posted @ 2020-12-14 23:11 -星星点灯丶阅读(78) 评论(0) 推荐(0) 编辑

Flink-批处理wordcount

摘要： public class wordcount { public static void main(String[] args) throws Exception { ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnviron 阅读全文

posted @ 2020-12-14 23:10 -星星点灯丶阅读(83) 评论(0) 推荐(0) 编辑

2020年8月15日

设计模式七大原则-合成复用原则

摘要：基本介绍：原则是尽量使用合成、聚合的方式，而不是使用继承设计原则核心思想：找出应用中可能需要变化之处，把它们独立出来，不要和那些不需要变化的代码混在一起。针对接口编程，而不是针对实现编程。为了交互对象之间的松耦合设计而努力阅读全文

posted @ 2020-08-15 18:19 -星星点灯丶阅读(66) 评论(0) 推荐(0) 编辑

设计模式七大原则-迪米特法则

摘要：基本介绍：一个对象应该对其他对象保持最少的了解类与类关系越密切，耦合度越大迪米特法则又叫最少知道原则，即一个类对自己依赖的类知道的越少越好。也就是说，对于被依赖的类不管多么复杂，都尽量将逻辑封装在类的内部，对外除了提供public方法，不对外泄露任何信息迪米特法则还有个更简单的定义：只与直接阅读全文

posted @ 2020-08-15 18:05 -星星点灯丶阅读(70) 评论(0) 推荐(0) 编辑

设计模式七大原则-开闭原则

摘要：基本介绍：开闭原则是变成中最基础、最重要的设计原则。一个软件实体，如类、模块、函数应该对扩展开放（对提供方来说，可以增加新功能），对修改关闭（对使用方来说，之前使用的代码没有修改）。用抽象构建框架，用实现扩展细节。当软件需要变化时，尽量通过扩展软件实体的行为来实现变化，而不是通过修改已有的代码阅读全文

posted @ 2020-08-15 17:10 -星星点灯丶阅读(91) 评论(0) 推荐(0) 编辑

设计模式七大原则-里氏替换原则

摘要：基本介绍：里氏替换原则在1988年，由麻省理工学院的一位姓里的女士提出的她提出了这么一个思想：如果对每个类型为T1的对象o1，都有类型为T2的对象o2，是的以T1定义的所有程序P在所有的对象o1都代换成o2时，程序P的行为没有发生变化，那么类型T2是类型T1的子类型。换句话说，所有应用基类的地方阅读全文

posted @ 2020-08-15 11:37 -星星点灯丶阅读(169) 评论(0) 推荐(0) 编辑