摘要：
前言 今天上午被 Flink 的一个算子困惑了下，具体问题是什么呢？ 我有这么个需求：有不同种类型的告警数据流(包含恢复数据)，然后我要将这些数据流做一个拆分，拆分后的话，每种告警里面的数据又想将告警数据和恢复数据拆分出来。 结果，这个需求用 Flink 的 Split 运算符出现了问题。 分析 需 阅读全文
posted @ 2019-07-24 22:34
zhisheng_tian
阅读(632)
评论(0)
推荐(0)
摘要：
更新一篇知识星球里面的源码分析文章，去年写的，周末自己录了个视频，大家看下效果好吗？如果好的话，后面补录发在知识星球里面的其他源码解析文章。 前言 之前自己本地 clone 了 Flink 的源码，编译过，然后 share 到了 GitHub 上去了，自己也写了一些源码的中文注释，并且 push 到 阅读全文
posted @ 2019-04-08 19:09
zhisheng_tian
阅读(3785)
评论(0)
推荐(1)
摘要：
Flink 学习 项目地址：https://github.com/zhisheng17/flink learning/ 博客： "http://www.54tianzhisheng.cn/tags/Flink/" 项目结构 博客 1、 "《从0到1学习Flink》—— Apache Flink 介绍 阅读全文
posted @ 2019-04-04 16:01
zhisheng_tian
阅读(2231)
评论(0)
推荐(0)
摘要：
<! more 前言 之前文章 "《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch" 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafka 阅读全文
posted @ 2019-01-27 15:44
zhisheng_tian
阅读(1538)
评论(0)
推荐(0)
摘要：
<! more 前言 之前写了不少 Flink 文章了，也有不少 demo，但是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，然后运行得。最开始在第一篇 "《从0到1学习Flink》—— Mac 上搭建 阅读全文
posted @ 2019-01-27 15:43
zhisheng_tian
阅读(892)
评论(0)
推荐(0)
摘要：
<! more 前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、[《从0到1学习Flink》—— Data Source 介绍 ](http://www.54tianzhisheng.cn/2018/10/28/flink sources/) 阅读全文
posted @ 2019-01-27 15:16
zhisheng_tian
阅读(2735)
评论(0)
推荐(0)
摘要：
<! more 前言 Flink 在流程序中支持不同的 Time 概念，就比如有 Processing Time、Event Time 和 Ingestion Time。 下面我们一起来看看这几个 Time： Processing Time Processing Time 是指事件被处理时机器的系统 阅读全文
posted @ 2019-01-27 15:15
zhisheng_tian
阅读(661)
评论(0)
推荐(0)
摘要：
<! more 前言 目前有许多数据分析的场景从批处理到流处理的演变， 虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“windowing（窗口化）”、“at least once（至少一次）”、“exactly once（只有一 阅读全文
posted @ 2019-01-27 14:55
zhisheng_tian
阅读(378)
评论(0)
推荐(0)
摘要：
<! more 前言 在第一篇介绍 Flink 的文章 "《《从0到1学习Flink》—— Apache Flink 介绍》" 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示： 1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于 阅读全文
posted @ 2019-01-27 14:53
zhisheng_tian
阅读(394)
评论(0)
推荐(0)
摘要：
<! more 前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然 阅读全文
posted @ 2018-12-02 21:38
zhisheng_tian
阅读(1255)
评论(0)
推荐(0)
浙公网安备 33010602011771号