摘要: 及时流处理# 介绍# 及时流处理是有状态流处理其中时间在计算中起了一些作用。在进行时间序列分析时,基于特定时间段(通常称为窗口)进行聚合时,或者在事件发生时间非常重要的情况下进行事件处理时,都会出现这种情况。 在接下来的章节中,我们将重点介绍在使用适时Flink应用程序时应该考虑的一些主题。 返回页 阅读全文
posted @ 2024-06-15 15:45 自在现实 阅读(74) 评论(0) 推荐(0)
摘要: 有状态流处理# 什么是状态?# 虽然数据流中的许多操作只是查看一个个体一次事件(例如事件解析器),有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为宏伟威严的. 有状态操作的一些例子: 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件时,状 阅读全文
posted @ 2024-06-15 15:37 自在现实 阅读(128) 评论(0) 推荐(0)
摘要: Flink 中的 API # Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Programming levels of abstraction Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function,并且 Process Functio 阅读全文
posted @ 2024-06-15 15:18 自在现实 阅读(38) 评论(0) 推荐(0)
摘要: 通过状态快照实现容错处理 # State Backends # 由 Flink 管理的 keyed state 是一种分片的键/值存储,每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。另外,Operator state 也保存在机器节点本地。Flink 定 阅读全文
posted @ 2024-06-15 15:14 自在现实 阅读(36) 评论(0) 推荐(0)
摘要: 性能考虑 # Flink 提供了为 RocksDB 优化的 MapState 和 ListState 类型。 相对于 ValueState,更建议使用 MapState 和 ListState,因为使用 RocksDBStateBackend 的情况下, MapState 和 ListState 比 阅读全文
posted @ 2024-06-15 14:56 自在现实 阅读(59) 评论(0) 推荐(0)
摘要: 数据库开发设计规范(通用) 原创 我科绝伦 小周的数据库进阶之路 2024-05-17 15:46 黑龙江 一、编写目的 为了在软件生命周期内规范数据库相关的需求分析、设计、开发、测试、运维工作,便于不同团队之间的沟通协调,以及在相关规范上达成共识,提升相关环节的工作效率和系统的可维护性。同时好的规 阅读全文
posted @ 2024-06-15 13:14 自在现实 阅读(236) 评论(0) 推荐(0)
摘要: Trino in a Docker container# The Trino project provides the trinodb/trino Docker image that includes the Trino server and a default configuration. The 阅读全文
posted @ 2024-06-15 10:31 自在现实 阅读(105) 评论(0) 推荐(0)
摘要: 一、transient关键字小结 1、变量被transient修饰,变量将不会被序列化 2、transient关键字只能修饰变量,而不能修饰方法和类。 3、被static关键字修饰的变量不参与序列化,一个静态static变量不管是否被transient修饰,均不能被序列化。 4、final变量值参与 阅读全文
posted @ 2024-06-12 18:25 自在现实 阅读(55) 评论(0) 推荐(0)
摘要: 创建entity模板,equals hashcode 方法模板 如下为FLINK官网实体类demo equals hashcode 方法模板可以参考 // // Source code recreated from a .class file by IntelliJ IDEA // (powered 阅读全文
posted @ 2024-06-12 17:57 自在现实 阅读(21) 评论(0) 推荐(0)
摘要: 数据仓库中的7种建模方法及示例 原创(https://mp.weixin.qq.com/s/4Nnhih4ccLxs5hguQMZRHA) 晓晓 数据驱动智能 2024-06-09 07:19 陕西 图片 试象一下,你是一家繁忙餐厅的分析工程师。每天,顾客都会预订、下订单并完成付款。所有这些数据都会 阅读全文
posted @ 2024-06-09 11:06 自在现实 阅读(279) 评论(0) 推荐(0)