……

2020年7月9日
摘要: 介绍 为什么需要链表? 对于上部分顺序表的学习,我们了解到在构建顺序表时需要预先知道数据大小来申请连续的存储空间,而在进行扩充的时候又需要进行数据的搬迁,所以使用起来并不是很灵活。 那我们就想,能不能存在一种数据结构是的在数据扩充的时候,在原有的数据完全不变化,扩充一个数据就增加一个,我们需要这样的 阅读全文
posted @ 2020-07-09 15:24 大码王 阅读(427) 评论(0) 推荐(0) 编辑
摘要: 1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能,定期把 state 持久化下来,而这一持久化的过程就叫做 checkpoint ,它是 F 阅读全文
posted @ 2020-07-09 11:18 大码王 阅读(549) 评论(0) 推荐(0) 编辑
摘要: 场景 最近在做一个画像的任务,sql实现的,其中有一个udf,会做很多事情,包括将从redis读出历史值加权,并将中间结果和加权后的结果更新到redis。 大家都知道,flink 是可以支持事件处理的,也就是可以没有时间的概念,那么在聚合,join等操作的时候,flink内部会维护一个状态,假如此时 阅读全文
posted @ 2020-07-09 10:16 大码王 阅读(1788) 评论(0) 推荐(0) 编辑
摘要: 背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception: 阅读全文
posted @ 2020-07-09 10:01 大码王 阅读(1025) 评论(0) 推荐(0) 编辑
复制代码