随笔分类 -  flink

bigdata_flink
flink窗口、时间和水印
摘要：主要介绍 Flink 中的时间和水印。 我们在之前的课时中反复提到过窗口和时间的概念，Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的 阅读全文
posted @ 2020-05-13 22:17 黑小莲花 阅读(1343) 评论(0) 推荐(0)
flink常见的核心概念
摘要：在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或 阅读全文
posted @ 2020-05-10 22:28 黑小莲花 阅读(604) 评论(0) 推荐(0)
flink的安装模式
摘要：Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix 阅读全文
posted @ 2020-05-10 22:20 黑小莲花 阅读(626) 评论(0) 推荐(0)
flinksql与table
摘要：分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括，最后模拟了一个实际业务场景使用 Flink Table & SQL 开发。 Flink Table & SQL 概述背景我们在前面的课时中讲过 阅读全文
posted @ 2020-05-10 21:54 黑小莲花 阅读(1044) 评论(0) 推荐(0)
flink常用的API
摘要：Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景，详细讲解了 DataStream 常用的 API 的使用。 说好的流批一体呢现状在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体 阅读全文
posted @ 2020-05-10 20:34 黑小莲花 阅读(1212) 评论(0) 推荐(0)
Flink 的编程模型与其他框架比较
摘要：Flink 的核心语义和架构模型我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State、Time 等核心概念和基础语义，以及 Flink 提供的不同层级的 API。 Flink 核心概念Streams（流），流分为有界流和无界流。有界流指的是有固定大小 阅读全文
posted @ 2020-05-06 22:54 黑小莲花 阅读(221) 评论(0) 推荐(0)
初识flink
摘要：传统的分析方式通常是利用批查询，或将事件（生产上一般是消息）记录下来并基于此形成有限数据集（表）构建应用来完成。为了得到最新数据的计算结果，必须先将它们写入表中并重新执行 SQL 查询，然后将结果写入存储系统比如 MySQL 中，再生成报告。 Apache Flink 同时支持流式及批量分析应用，这 阅读全文
posted @ 2020-05-06 21:37 黑小莲花 阅读(224) 评论(0) 推荐(0)