随笔分类 -  Flink

上一页 1 2 3
没有最快，只有更快，流处理数据。
Flink学习（八） Flink SQL & Table 编程和案例
摘要：Flink Table & SQL 概述背景我们在前面的课时中讲过 Flink 的分层模型，Flink 自身提供了不同级别的抽象来支持我们开发流式或者批量处理程序，下图描述了 Flink 支持的 4 种不同级别的抽象。 Table API 和 SQL 处于最顶端，是 Flink 提供的高级 API 阅读全文
posted @ 2020-05-16 16:51 Xiaohu_BigData 阅读(5096) 评论(0) 推荐(0)
Flink学习（七） 多流转换算子 拆分合并流
摘要：一、Split 和 Select （使用split切分过的流是不能被二次切分的） DataStream --> SplitStream : 根据特征把一个DataSteam 拆分成两个或者多个DataStream. SplitStream --> DataStream:从一个SplitStream中 阅读全文
posted @ 2020-05-14 23:58 Xiaohu_BigData 阅读(3683) 评论(0) 推荐(0)
Flink学习（六） 常用DataStreaming API
摘要：曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。 DateSe 阅读全文
posted @ 2020-05-13 21:14 Xiaohu_BigData 阅读(1518) 评论(0) 推荐(0)
Flink学习（五） Flink 的核心语义和架构模型
摘要：Flink 的核心语义和架构模型我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State、Time 等核心概念和基础语义，以及 Flink 提供的不同层级的 API。 Flink 核心概念Streams（流），流分为有界流和无界流。有界流指的是有固定大小 阅读全文
posted @ 2020-05-13 19:23 Xiaohu_BigData 阅读(854) 评论(0) 推荐(0)
Flink学习（四） Flink Table & SQL 实现wordcount Java版本
摘要：Flink Table & SQL WordCountFlink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 一个完整的 Flink SQL 编写的程序包括如下三部分。 Source Operator：是对外部数据源的抽象, 阅读全文
posted @ 2020-05-11 23:02 Xiaohu_BigData 阅读(3473) 评论(0) 推荐(0)
Flink学习（三） 批流版本的wordcount Scala版本
摘要：批处理代码： package com.wyh.wc import org.apache.flink.api.scala._ /** * 批处理代码 */ object WordCount { def main(args: Array[String]): Unit = { //创建一个批处理的一个环境 阅读全文
posted @ 2020-05-11 22:57 Xiaohu_BigData 阅读(1180) 评论(0) 推荐(0)
Flink学习（三） 批流版本的wordcount JAVA版本
摘要：Flink 开发环境通常来讲，任何一门大数据框架在实际生产环境中都是以集群的形式运行，而我们调试代码大多数会在本地搭建一个模板工程，Flink 也不例外。 Flink 一个以 Java 及 Scala 作为开发语言的开源大数据项目，通常我们推荐使用 Java 来作为开发语言，Maven 作为编译和包 阅读全文
posted @ 2020-05-11 22:55 Xiaohu_BigData 阅读(2217) 评论(0) 推荐(0)
Flink学习（二） 应用场景和架构模型
摘要：实时计算最好的时代 在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领 阅读全文
posted @ 2020-05-11 19:43 Xiaohu_BigData 阅读(890) 评论(1) 推荐(0)
Flink学习（一） 行情介绍
摘要：想进大厂，必须掌握 Flink 技术！！！ 随着大数据时代的发展、海量数据的实时处理和多样业务的数据计算需求激增，传统的批处理方式和早期的流式处理框架也有自身的局限性，难以在延迟性、吞吐量、容错能力，以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，Flink 以其独特的天然流式计算特性和更 阅读全文
posted @ 2020-05-11 19:24 Xiaohu_BigData 阅读(508) 评论(0) 推荐(0)
Flink运行时架构
摘要：一、运行时的组件和基本原理 1、作业管理器 （1）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。 （2）JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（Logical dataflow 阅读全文
posted @ 2020-04-02 21:36 Xiaohu_BigData 阅读(712) 评论(0) 推荐(1)

上一页 1 2 3