摘要: 一、内置 Data Source Flink Data Source 用于定义 Flink 程序的数据来源,Flink 官方提供了多种数据获取方法,用于帮助开发者简单快速地构建输入流,具体如下: 1.1 基于文件构建 1. readTextFile(path):按照 TextInputFormat 阅读全文
posted @ 2020-06-27 21:49 数据驱动 阅读(546) 评论(0) 推荐(1) 编辑
摘要: 一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ,如果想要使用 Scala 语言来开发 Flink 程序,可以通过在 IDEA 中安装 Scala 插件来提供语法提示,代码高亮等功能。打开 IDEA , 依次点击 File => settings 阅读全文
posted @ 2020-06-27 19:39 数据驱动 阅读(2227) 评论(0) 推荐(0) 编辑
摘要: 一、Flink 简介 Apache Flink 诞生于柏林工业大学的一个研究性项目,原名 StratoSphere 。2014 年,由 StratoSphere 项目孵化出 Flink,并于同年捐赠 Apache,之后成为 Apache 的顶级项目。2019 年 1 年,阿里巴巴收购了 Flink 阅读全文
posted @ 2020-06-27 17:09 数据驱动 阅读(611) 评论(0) 推荐(0) 编辑
摘要: 一、版本说明 Spark 针对 Kafka 的不同版本,提供了两套整合方案:spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10,其主要区别如下: spark-streaming-kafka-0-8 spark-streaming-kafka- 阅读全文
posted @ 2020-06-27 00:30 数据驱动 阅读(229) 评论(0) 推荐(0) 编辑