摘要: CheckPoint 1. checkpoint 保留策略 默认情况下,checkpoint 不会被保留,取消程序时即会删除他们,但是可以通过配置保留定期检查点,根据配置 当作业失败或者取消的时候 ,不会自动清除这些保留的检查点 。 java : ExternalizedCheckpointClea 阅读全文
posted @ 2018-11-07 22:57 千狼 阅读(7367) 评论(0) 推荐(0) 编辑
摘要: [TOC] 简述: 最近使用 github 在归类自己平时使用的工具类 github 地址: https://github.com/auguszero/javaToolRepsitory 利用java api 创建excel 内容并发送邮件 主要实现功能: 1.通过配置文件设置发送邮件发送方,接收方 阅读全文
posted @ 2018-11-06 23:14 千狼 阅读(1098) 评论(0) 推荐(0) 编辑
摘要: [TOC] 引言 今天针对线上生产环境下单机 flume 拉取kafka数据并存储数据入Hdfs 出现大批量数据延迟. 在网上官网各种搜索数据,并结合官网数据,现进行以下总结 1. 线上单机存在问题简述 当前flume拉取kafa数据量并不大 ,根据flume客户端日志 ,每半分钟hdfs文件写入一 阅读全文
posted @ 2018-11-06 23:09 千狼 阅读(969) 评论(0) 推荐(0) 编辑
摘要: [TOC] Flink 专题1 : 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flink® 基于数据流的有状态计算 Flink 的优势: 流场景使用案例 数据驱动的应用 批流数据分析 数据通道和ETL 正确性保证 Exactly once状态一致性保证 事件 阅读全文
posted @ 2018-11-06 23:08 千狼 阅读(4339) 评论(0) 推荐(0) 编辑
Live2D