2022年11月27日

Flink时间语义与时间戳watermark

摘要: 时间语义 Event Time:事件创建或产生的时间。事件时间。 Ingestion Time:数据进入flink的时间。摄入时间。 Processing Time:执行操作算子的本地系统时间,与机器相关。处理时间。window processing time。 不同的时间有不同的应用场合,我们往往 阅读全文

posted @ 2022-11-27 17:51 张少凯 阅读(188) 评论(0) 推荐(0) 编辑

2022年11月20日

JAVA接口

摘要: JDK1.8之前 接口是接口,类是类。它们是同一层次的概念。 接口中没有构造器。 接口如何声明:interface 在JDK1.8之前,接口中只有两部分内容,(1)常量:固定修饰符:public static final(2)抽象方法:固定修饰符:public abstract 注意:修饰符可以不写 阅读全文

posted @ 2022-11-20 17:54 张少凯 阅读(22) 评论(0) 推荐(0) 编辑

2022年11月12日

重新学习JAVA面向对象(一)

摘要: 语言的演变 第一代语言:机器语言。 第二代语言:汇编语言。 第三代语言:高级语言。 分为面向过程和面向对象语言。 面向过程:C语言,Fortran语言,PASCAL语言,ADA语言。 面向对象:C++,JAVA,C#。 第四代语言:SQL。 类和对象 类是对象的抽象。 对象是具体的事物。 先有具体的 阅读全文

posted @ 2022-11-12 16:29 张少凯 阅读(39) 评论(0) 推荐(0) 编辑

2022年11月6日

Flink窗口window

摘要: 窗口: 一般真实的流都是无界的,窗口可以把无界的流进行切分,得到一个有界流。它会将数据分发到有限大小的桶内进行分析。 window类型: 时间窗口 time window:滚动时间窗口,滑动时间窗口,会话窗口。 计数窗口 count window:滚动计数窗口,滑动计数窗口。 滚动窗口:tumbli 阅读全文

posted @ 2022-11-06 22:23 张少凯 阅读(97) 评论(0) 推荐(0) 编辑

2022年10月29日

Flink通过Side Outputs侧输出流处理迟到数据(Trigger、设置水位线延迟时间、允许窗口处理迟到数据、将迟到数据放入侧输出流、代码示例、迟到数据触发窗口计算重复结果处理)

摘要: 前言: 迟到数据,是指在watermark之后到来的数据,事件时间在水位线之前。所以只有在事件时间语义下,讨论迟到数据的处理才有意义。对于乱序流,可以设置一个延迟时间;对于窗口计算,可以设置窗口的允许延迟时间;另外可以将迟到数据输出到Side Outputs。 Trigger: Trigger决定窗 阅读全文

posted @ 2022-10-29 22:48 张少凯 阅读(513) 评论(0) 推荐(0) 编辑

2022年10月23日

Mysql学习笔记(十三)

摘要: mysql常用数据类型: int,double,float,decimal,varchar,char,text,datetime; 表的创建: create table [schema数据库名或者表名].tablename; 数据对象的命名规则: 必须以字母开头,可包含数字和三个特殊字符(#_$) 阅读全文

posted @ 2022-10-23 23:05 张少凯 阅读(17) 评论(0) 推荐(0) 编辑

2022年10月6日

Flink侧面输出流Side outputs和异步IO流asyncIO

摘要: Side Outputs 除了DataStream操作产生的主流之外,还可以生成任意数量的附加端输出结果流。 结果流中的数据类型不必与主流中的数据类型匹配,输出的类型也可能不同。 当要分割一个数据流时,此操作非常有用,通常情况下必须复制该流,然后从每个流中筛选出您不想要的数据。但侧面输出流不用复制。 阅读全文

posted @ 2022-10-06 22:52 张少凯 阅读(482) 评论(0) 推荐(0) 编辑

2022年10月5日

Flink状态一致性

摘要: 什么是状态一致性 1. 有状态的流处理,内部每个算子任务都可以有自己的状态。 2. 对于流处理内部来说,所谓的状态一致性,其实就是我们所说的计算结果要保持准确。 3. 一条数据不应该丢失,也不应该重复计算。 4. 在遇到故障时可以恢复状态,恢复以后的重新计算,结果应该也是完全正确的。 状态一致性分类 阅读全文

posted @ 2022-10-05 13:32 张少凯 阅读(69) 评论(0) 推荐(0) 编辑

2022年9月25日

pulsar-websocket协议

摘要: WebSocket简介 通过 Pulsar 的 WebSocket API,用户可以简单便捷地与 Pulsar 进行交互,WebSocket API 不依赖于官方客户端库。 WebSocket 支持使用 Java、Go、Python 和 C++ 客户端中提供的所有功能来发布和订阅消息。 运行 Web 阅读全文

posted @ 2022-09-25 17:31 张少凯 阅读(316) 评论(0) 推荐(0) 编辑

2022年9月18日

java中的时间类

摘要: Java中的旧有时间类为Java.util包的date和calendar,都是基于一个核心的long值类计算,以1970年1月1日为基础,过去了多少毫秒。 Date类 Date date = new Date();//System.currentTimeMillis();fastTime; //也可 阅读全文

posted @ 2022-09-18 11:59 张少凯 阅读(127) 评论(0) 推荐(0) 编辑

导航