sanmutongzi

摘要： 我们在https://www.cnblogs.com/dongxiao-yang/p/9403427.html文章里分析了flink提交single job到yarn集群上的代码，flink在1.5版本后对整个框架的deploy方式重构了全新的流程（参考https://cwiki.apache.or 阅读全文

摘要： 转发请注明原创地址：https://www.cnblogs.com/dongxiao-yang/p/9403427.html flink任务的deploy形式有很多种选择，常见的有standalone，on yarn , Meos , Kubernetes等方式，目前公司内部统一采用flink on 阅读全文

摘要： 转发请注明原创地址：https://www.cnblogs.com/dongxiao-yang/p/9391815.html 背景flink 提供了完善的窗口机制， api中支持常见的三种窗口形式，滚动窗口，滑动窗口和session窗口。下面的图片显示了三种窗口的划分区别：滚动窗口滑动窗口sessi 阅读全文

摘要： http://training.data-artisans.com/是Apache Flink商业公司DataArtisans提供的一个flink学习平台，主要提供了一些业务场景和flink api结合的case。本文摘取其中一个计算出租车上/下客人热点区域demo进行分析。 一 数据准备 flin 阅读全文

摘要： 转发请注明原创地址：https://www.cnblogs.com/dongxiao-yang/p/9198977.html TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标（如出现次数）计算排名并快速出发出更新后的排行榜。 我们以 阅读全文

摘要： 转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源码分析 （一）一文主要讲述了在JobManager端定时生成TriggerCheckpoint的代码部分，本文继续研究下TaskManager 阅读全文

摘要： 转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为org.apache.flink.runtime. 阅读全文

摘要： 转发请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/7994357.html spark-streaming定时对 DStreamGraph 和 JobScheduler 做 Checkpoint,来记录整个 DStreamGraph 的变化和每个 ba 阅读全文

摘要： 转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是E 阅读全文

摘要： 转发请注明原创地址：http://www.cnblogs.com/dongxiao-yang/p/7700600.html 《flink-connector-kafka consumer的topic分区分配源码》一文提到了在flink-connector-kafka的consumer初始化的时候有三 阅读全文