合集-flink

Flink的State
摘要：有状态的计算是流式计算框架的一个重要功能，很多复杂的计算场景都需要记录一下相关的状态。Flink State一种为了满足算子计算时需要历史数据需求的，使用 checkpoint 机制进行容错，存储在 state backend 的数据结构。 1.State分类 Flink State被分为keyed 阅读全文
posted @ 2024-05-16 14:54 人不疯狂枉一生 阅读(152) 评论(0) 推荐(0)
Flink精确消费一次
摘要：在大数据计算里面，计算引擎是处于承上启下的作用，对上承接数据源，对下承接各种各种数据库，比如mysql、oracle。对于任何数据计算来说要想精确消费一次，就需要支持事务或者幂等，我们最常见的支持事务的就是单点的oracle、mysql数据库，那么Flink作为分布式计算引擎，是如何做到精确消费一次 阅读全文
posted @ 2024-05-19 18:23 人不疯狂枉一生 阅读(183) 评论(0) 推荐(0)
Flink内存模型
摘要：之前聊Flink的slot时简单提到过内存，Flink计算框架的内存大致分为Flink使用的内存、Jvm使用的内存。Flink为什么不全使用JVM内存的原因是显而易见的，作为实时计算框架，JVM内存依赖GC自动回收一旦稍微慢一点，就会对系统性能造成巨大影响，而且使用JVM内存容易内存溢出，所以Fli 阅读全文
posted @ 2024-05-20 14:41 人不疯狂枉一生 阅读(168) 评论(0) 推荐(0)
Flink富函数
摘要：富函数是DataStream API提供的函数接口，Flink的函数都有它的Rich版本，它与其他函数不同的是，富函数可以获取到运行环境上下文，初始化参数，拥有生命周期方法等，可通过它进行自定义复杂功能。我们常见的如RichMapFunction、RichFilterFunction等。 富函数的生 阅读全文
posted @ 2024-05-21 12:40 人不疯狂枉一生 阅读(241) 评论(0) 推荐(0)
Flink双流Join
摘要：Flink双流Join分为window join、internal join、connect、维表广播等方法,其中window join又分为Tumbling Window Join、Sliding Window Join、Session Window Join;connect只能连接两个流，并且数 阅读全文
posted @ 2024-05-23 10:32 人不疯狂枉一生 阅读(235) 评论(0) 推荐(0)
向量数据库
摘要：随着LLM的起飞，向量数据库也跟着火爆，好多做向量数据库的初创企业ppt刚写好，就拿到几千万美元的风投。 向量数据库是一种特殊的数据库，它是存储了一堆浮点数，这些浮点数排列到一起就像一个数组，这些浮点数在向量数据库里面被称为维度，通过这些维度向量数据库可以存储和检索海量的高维数据，支持复杂查询和分析 阅读全文
posted @ 2024-05-24 15:20 人不疯狂枉一生 阅读(204) 评论(0) 推荐(0)