INnoVation-V2

2024年8月8日

摘要： CH-10 容错机制 Flink有一套完整的容错机制来保证故障后的恢复，其中最重要的是检查点。本章将深入了解检查点的原理和Flink的容错机制。 10.1CheckPoint 触发保存时机周期性保存，间隔时间可以设置 val env = StreamExecutionEnvironment.get 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(74) 评论(0) 推荐(0)

CH-9 状态编程

摘要： CH-9 状态编程 9.1 状态简介状态分为两种：托管状态由Flink统一管理，状态的存储、故障恢复等都由Flink实现，直接使用即可原始状态自定义，相当于开辟了一块内存，需要自己管理，实现状态的序列化和故障恢复。状态类型包含值状态(ValueState)、列表状态(ListState) 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(60) 评论(0) 推荐(0)

CH-8 多流转换

摘要： CH-8 多流转换多流转换分为两类：分流、合流，合流的算子比较丰富 8.1 分流一般通过侧输出流实现完整代码 8.2 合流 1.union() DataStream → DataStream 合并多个DataStream，要求所有stream内的元素类型相同 DataStreamSource 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(27) 评论(0) 推荐(0)

CH-6 时间与窗口 & CH7 ProcessFuntion

摘要： CH-6 时间与窗口 6.1 时间语义事件时间(Event Time)：数据产生的时间，默认使用处理时间(Processing Time)：数据到达窗口的时间摄入时间：被Flink Source读入的时间 6.2 水位线 6.2.1 逻辑时钟在使用事件时间时，Flink使用逻辑时钟对数据进行阅读全文

posted @ 2024-08-08 20:10 INnoVation-V2 阅读(82) 评论(0) 推荐(0)

2024年7月3日

15~18.基于Linux编程

摘要：十五.套接字和标准IO 1.标准IO函数标准函数的优点具有良好的移植性标准IO会提供缓冲，可提高性能标准函数的缺点不容易进行双向通信有时会频繁调用fflush函数需要传入FILE指针 2.使用标准IO函数 fd-->FILE* #includes<stdio.h> /* 失败返回NUL 阅读全文

posted @ 2024-07-03 00:12 INnoVation-V2 阅读(39) 评论(0) 推荐(0)

10~14章

摘要：十.多进程编程 1.创建进程 #include<unistd.h> //成功0,失败-1 pid_t fork(void); //父进程返回子进程ID,子进程返回0 2.僵尸进程子进程有两种结束方式 1.调用exit函数并传递参数 exit(1); 2.main函数中执行return语句返回值 r 阅读全文

posted @ 2024-07-03 00:11 INnoVation-V2 阅读(26) 评论(0) 推荐(0)

5~9章

摘要：五.TCP原理 5.1 TCP Socket中的IO缓冲 TCP Socket的数据无边界，即write和read次数并不对应，多次发送的数据，可以通过read一次完成读取，一次发送的数据，也可以每次接收一部分，多次完成读取。这主要是通过IO缓冲完成的。调用write函数时，数据并未发送，而是移阅读全文

posted @ 2024-07-03 00:11 INnoVation-V2 阅读(32) 评论(0) 推荐(0)

1~4章

摘要：零、Linux文件基本操作在Linux平台，可以认为socket是一种特殊的文件，使用相同的API进行操作。 1.文件描述符用一个数字指代某个文件，对文件描述符进行操作，就会修改文件内容，每个进程的文件描述符都是从0开始且独享的有3个特殊的文件描述符无需创建即可使用文件描述符对象 0 标阅读全文

posted @ 2024-07-03 00:11 INnoVation-V2 阅读(33) 评论(0) 推荐(0)

2024年6月21日

Flink报错 java.lang.IllegalArgumentException: too many arguments

摘要：错误信息 /Library/Java/JavaVirtualMachines/zulu-21.jdk/Contents/Home/bin/java -javaagent:/Users/liuyu/Applications/IntelliJ IDEA Ultimate.app/Contents/lib 阅读全文

posted @ 2024-06-21 10:35 INnoVation-V2 阅读(193) 评论(0) 推荐(0)

2024年6月20日

IDEA 2024 配置 Flink Scala开发环境

摘要： IDEA 2024 配置 Flink Scala开发环境一、环境 IntelliJ IDEA 2024.1 (Ultimate Edition) 项目JDK版本：Zulu JDK11 Scala 2.12.19 Scala编译ServerJDK版本: JDK21 Flink 1.19.1 二、步骤阅读全文

posted @ 2024-06-20 18:38 INnoVation-V2 阅读(2255) 评论(0) 推荐(0)

公告