随笔分类 -  Flink

Apache Flink SQL
摘要：本篇核心目标是让大家概要了解一个完整的 Apache Flink SQL Job 的组成部分，以及 Apache Flink SQL 所提供的核心算子的语义，最后会应用 TumbleWindow 编写一个 End-to-End 的页面访问的统计示例。 1.Apache Flink SQL Job 的 阅读全文
posted @ 2019-09-15 23:40 老白条 阅读(9132) 评论(0) 推荐(1)
Flink状态管理和容错机制介绍
摘要：本文主要内容如下： 有状态的流数据处理； Flink中的状态接口； 状态管理和容错机制实现； 阿里相关工作介绍； 一.有状态的流数据处理# 1.1.什么是有状态的计算# 计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。 比如wordcount,给一些word, 阅读全文
posted @ 2019-09-15 23:38 老白条 阅读(1115) 评论(0) 推荐(0)
深入理解Flink核心技术及原理
摘要：前言 Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对Map 阅读全文
posted @ 2019-09-15 23:37 老白条 阅读(6648) 评论(0) 推荐(2)
Flink是如何实现exactly-once语义的
摘要：Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置 阅读全文
posted @ 2019-09-15 23:24 老白条 阅读(819) 评论(0) 推荐(1)