flink - 随笔分类 - papering

【Flink】基于 Flink 的流式数据实时去重

摘要：State Backends | Apache Flink https://nightlies.apache.org/flink/flink-docs-release-1.20/zh/docs/dev/datastream/fault-tolerance/state_backends/ Flink 阅读全文

posted @ 2024-10-11 18:48 papering 阅读(121) 评论(0) 推荐(0)

flink 数据存储读取

摘要：https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/filesystems/overview/ 翻译搜索复制阅读全文

posted @ 2024-04-23 12:20 papering 阅读(24) 评论(0) 推荐(0)

Flink消费kafka数据同步问题排查

摘要：Flink消费kafka数据同步问题排查 https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8Q Flink消费kafka数据同步问题排查原创任天兵哈啰技术 2023-10-31 17:31 发表于上海我们有一个flink任务，消费的kafka的数阅读全文

posted @ 2023-10-31 17:33 papering 阅读(356) 评论(0) 推荐(0)

flink UDF 中分母为0 消费异常不再消费

摘要：flink UDF 中分母为0 消费异常不再消费调试方法添加控制台打印 System.out.println("输入有误！"); 在 team manager 的stdout看数据翻译搜索复制阅读全文

posted @ 2023-10-19 18:26 papering 阅读(39) 评论(0) 推荐(0)

flink mysql sink 数据重复唯一键限制

摘要：PRIMARY KEY (`device_id`,`event_time`) NOT ENFORCED 翻译搜索复制阅读全文

posted @ 2023-10-18 09:16 papering 阅读(67) 评论(0) 推荐(0)

维度表事实表宽表维表

摘要：维表术语在线—权威的术语知识服务平台 https://www.termonline.cn/word/9735/1#s1 术语基本信息规范用词：维表英语名： dimension table 定义：对维的属性进行描述的表格。每个维都有一个表与之相关联，称为维表。是对维的属性的描述。见载：管阅读全文

posted @ 2023-10-10 11:57 papering 阅读(140) 评论(0) 推荐(0)

Flink窗口函数窗口聚合 tumble hop session over 滚动滑动会话 over

摘要：小结： 1、系统会根据数据的Event Time生成的Watermark来进行关窗 FlinkSQL支持的窗口函数类型_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/overview-4 窗口函数 | 阅读全文

posted @ 2023-10-10 11:16 papering 阅读(692) 评论(0) 推荐(0)

Debezium是一个CDC（Changelog Data Capture，变更数据捕获）的工具

摘要：Debezium格式的使用方法和类型映射_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/debezium 翻译搜索复制阅读全文

posted @ 2023-10-10 10:02 papering 阅读(44) 评论(0) 推荐(0)

乱序数据延迟计算 watermark kafka

摘要：kafka只能保证分区内的数据的有序性直播用户关注取消关注多次点击 EventTime 事件时间多久后执行翻译搜索复制阅读全文

posted @ 2023-09-23 18:36 papering 阅读(15) 评论(0) 推荐(0)

Flink的Checkpoint状态和Kafka Broker上的提交位点一致

摘要：Flink的Checkpoint状态和Kafka Broker上的提交位点一致消息队列Kafka连接器_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/kafka-connector 消息队列Kafka 阅读全文

posted @ 2023-09-22 13:46 papering 阅读(571) 评论(0) 推荐(0)

. Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's time attribute field

摘要：org.apache.flink.table.api.ValidationException: SQL validation failed. Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table' 阅读全文

posted @ 2023-09-22 12:30 papering 阅读(571) 评论(0) 推荐(0)

维度表事实表宽表维表

摘要：维表术语在线—权威的术语知识服务平台 https://www.termonline.cn/word/9735/1#s1 术语基本信息规范用词：维表英语名： dimension table 定义：对维的属性进行描述的表格。每个维都有一个表与之相关联，称为维表。是对维的属性的描述。见载：管阅读全文

posted @ 2023-09-21 23:33 papering 阅读(318) 评论(0) 推荐(0)

流计算流数据连表mysql数据库的表数据数据库的表更新流计算变动的汇率 JOIN org.apache.flink.table.api.TableException: Cannot generate a valid execution plan for the given query

摘要：实践：借助维表，将mysql中的数据变动同步到flink的计算中 CREATE TEMPORARY TABLE 与 CREATE TABLE 区别结论建议：一个是创建作业运行使用的临时表，一个是创建Flink项目空间的表。执行CREATE TABLE创建的表可以在元数据这里看到，后续作业中可以直阅读全文

posted @ 2023-09-21 20:07 papering 阅读(225) 评论(0) 推荐(0)

Querying system-period temporal data 查询指定时间的数据库数据

摘要：Querying system-period temporal data - IBM Documentation https://www.ibm.com/docs/en/db2/11.5?topic=tables-querying Querying system-period temporal da 阅读全文

posted @ 2023-09-21 15:10 papering 阅读(39) 评论(0) 推荐(0)

flink 结果表为mysql null、浮点入表

摘要：硬件设备的软件版本，上报的信息不同。 flink 结果表为mysql null、浮点入表 com.alibaba.ververica.connectors.common.exception.ConnectorException: ************ERR_ID: CON-04000041CAU 阅读全文

posted @ 2023-09-20 15:15 papering 阅读(112) 评论(0) 推荐(0)

自定义函数 UDF operator window 窗口 datas ource 数据源水印事件时间 event time watermark

摘要：FlinkSQL支持的窗口函数类型_实时计算 Flink版(Flink)-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/overview-4 时间属性 Flink SQL支持Event Time和Processing Tim 阅读全文

posted @ 2023-09-16 12:02 papering 阅读(124) 评论(0) 推荐(0)

state checkpoint

摘要：state checkpoint Checkpointing | Apache Flink https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/datastream/fault-tolerance/checkpoin 阅读全文

posted @ 2023-09-16 10:19 papering 阅读(150) 评论(0) 推荐(0)

properties.enable.idempotence 消息顺序和消息不重复

摘要：处理：在kafka 结果表with 参数里加'properties.enable.idempotence'='false' 来关闭客户端的幂等/事务 Kafka producer configuration reference | Confluent Documentation https://d 阅读全文

posted @ 2023-09-15 20:14 papering 阅读(286) 评论(0) 推荐(0)

Flink SQL 数据类型

摘要：Flink JDBC Driver | Apache Flink https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/jdbcdriver/ Sample.java public class Sample { pub 阅读全文

posted @ 2023-08-30 16:31 papering 阅读(81) 评论(0) 推荐(0)

CEP模板模式检测（CEP）在数据流情景中，如果您需要搜索一组事件模式，则可以使用MATCH_RECOGNIZE语法。

摘要：代码模板_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/user-guide/code-templates 翻译搜索复制阅读全文

posted @ 2023-08-25 11:58 papering 阅读(33) 评论(0) 推荐(0)

papering

随笔分类 - flink