随笔分类 -  Flink

摘要:CBO与RBO并非对立关系,而是基于RBO的拓展 CBO = RBO + Cost Model + Model Iteration,通过代价模型,在一定的时间空间范围内通过动态规划算法来获得最终的执行计划 claicte的优化原理是,它假定如果一个表达式最优,那它的局部也是最优的。成本最优假设利用了 阅读全文
posted @ 2024-06-21 17:18 码以致用 阅读(140) 评论(0) 推荐(0)
摘要:FLIP-27: Refactor Source Interface 流批一体API 1、解耦SplitEnumerator与SplitReader SplitEnumerator:发现并分配splits(比如files/kafka_partitions) SourceReader:从splits里 阅读全文
posted @ 2024-06-21 00:32 码以致用 阅读(97) 评论(0) 推荐(0)
摘要:Flink是流计算领域的事实标准,而Flink sql的广泛应用极大地推动了这一标准的确立。 在mysql里我们可以很方便地通过show tables from db1 like '%a'直接从上百个库找出db1库a开头的表,但之前flink只支持show tables查出当前库的表,该如何改造呢? 阅读全文
posted @ 2023-01-04 10:41 码以致用 阅读(521) 评论(0) 推荐(0)
摘要:从入行做数据库开发,到2018年过渡到大数据开发,可以说我已经与sql朝夕相处了七八年了,经常惊讶于简单的语法就能产生复杂的操作,而且还能根据索引等统计信息自动优化,不禁很想实现自己的sql语法,却不知道这是怎么做到的,繁忙的工作、庞大的语法解析及优化的储备知识让我迟迟难以行动起来,但只要出现契机并 阅读全文
posted @ 2022-05-13 17:30 码以致用 阅读(152) 评论(0) 推荐(0)