摘要：1.前言 之前几篇文章都是围绕Rocksdb状态后端引申出来的一系列问题，本文主要介绍一下Rocksdb作为状态后端的一些技术细节，以及Flink的状态抽象是如何设计的，为开发一个新的状态后端做指导。 本文基于Flink 1.8.2，目前Flink版本处于一种快速变化的过程，所以可能不适用于高版本， 阅读全文

摘要：1.前言 本节主要是由于Rocksdb的数据结构LSM树，所以介绍一下常见的树结构在不同场景下的应用，更好的理解一下常见的数据库，KV存储系统都是如何设计，以及为什么这样设计的。 2. 二叉树 二叉树：每个节点至多有两个子节点。可以计算高度为N(从0开始计数)的二叉树，最后一层最多有2^N个节点，全 阅读全文

摘要：1.前言 本文主要基于实践过程中遇到的一系列问题，来详细说明Flink的状态后端是什么样的执行机制，以理解自定义函数应该怎么写比较合理，避免踩坑。 内容是基于Flink SQL的使用，主要说明自定义聚合函数的一些性能问题，状态后端是rocksdb。 2.Flink State https://ci. 阅读全文

摘要：1.前言 对于做实时计算的朋友来说，资源设置都是一个比较麻烦的问题。实时计算不同于离线计算，它的任务都是并行的，启动就会一直占用集群资源，如果资源设置的过多会造成极大的浪费，设置的过少任务会不断发生failover。这里说的资源主要指的就是内存资源，所以本文对Flink的内存设置提供一些思路，尤其是 阅读全文