摘要：CheckPoint 1. checkpoint 保留策略 默认情况下，checkpoint 不会被保留，取消程序时即会删除他们，但是可以通过配置保留定期检查点，根据配置 当作业失败或者取消的时候 ，不会自动清除这些保留的检查点 。 java : ExternalizedCheckpointClea 阅读全文

摘要：[TOC] 引言 今天针对线上生产环境下单机 flume 拉取kafka数据并存储数据入Hdfs 出现大批量数据延迟. 在网上官网各种搜索数据，并结合官网数据，现进行以下总结 1. 线上单机存在问题简述 当前flume拉取kafa数据量并不大 ，根据flume客户端日志 ，每半分钟hdfs文件写入一 阅读全文

摘要：[TOC] Flink 专题1 ： 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flink® 基于数据流的有状态计算 Flink 的优势: 流场景使用案例 数据驱动的应用 批流数据分析 数据通道和ETL 正确性保证 Exactly once状态一致性保证 事件 阅读全文