上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页
摘要:一、Data Sinks 在使用 Flink 进行数据处理时,数据经 Data Source 流入,然后通过系列 Transformations 的转化,最终可以通过 Sink 将计算结果进行输出,Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 阅读全文
posted @ 2020-06-28 08:46 数据驱动 阅读(480) 评论(0) 推荐(0) 编辑
摘要:一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类: DataStream Transformations:进行数据流相关转换操作; Physical pa 阅读全文
posted @ 2020-06-28 07:44 数据驱动 阅读(144) 评论(0) 推荐(0) 编辑
摘要:一、内置 Data Source Flink Data Source 用于定义 Flink 程序的数据来源,Flink 官方提供了多种数据获取方法,用于帮助开发者简单快速地构建输入流,具体如下: 1.1 基于文件构建 1. readTextFile(path):按照 TextInputFormat 阅读全文
posted @ 2020-06-27 21:49 数据驱动 阅读(273) 评论(0) 推荐(0) 编辑
摘要:一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ,如果想要使用 Scala 语言来开发 Flink 程序,可以通过在 IDEA 中安装 Scala 插件来提供语法提示,代码高亮等功能。打开 IDEA , 依次点击 File => settings 阅读全文
posted @ 2020-06-27 19:39 数据驱动 阅读(1141) 评论(0) 推荐(0) 编辑
摘要:一、Flink 简介 Apache Flink 诞生于柏林工业大学的一个研究性项目,原名 StratoSphere 。2014 年,由 StratoSphere 项目孵化出 Flink,并于同年捐赠 Apache,之后成为 Apache 的顶级项目。2019 年 1 年,阿里巴巴收购了 Flink 阅读全文
posted @ 2020-06-27 17:09 数据驱动 阅读(362) 评论(0) 推荐(0) 编辑
摘要:一、版本说明 Spark 针对 Kafka 的不同版本,提供了两套整合方案:spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10,其主要区别如下: spark-streaming-kafka-0-8 spark-streaming-kafka- 阅读全文
posted @ 2020-06-27 00:30 数据驱动 阅读(152) 评论(0) 推荐(0) 编辑
摘要:一、简介 Apache Flume 是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based 阅读全文
posted @ 2020-06-26 23:39 数据驱动 阅读(174) 评论(0) 推荐(0) 编辑
摘要:一、案例引入 这里先引入一个基本的案例来演示流的创建:获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI 阅读全文
posted @ 2020-06-26 22:34 数据驱动 阅读(222) 评论(0) 推荐(0) 编辑
摘要:一、流处理 1.1 静态数据处理 在流处理之前,数据通常存储在数据库,文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储,采用 MapReduce 进行数据查询或分析,这就是典型的静态数据处理架构。 1.2 流 阅读全文
posted @ 2020-06-26 18:02 数据驱动 阅读(287) 评论(0) 推荐(0) 编辑
摘要:一、 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据。分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSession.builder().appName("aggregations").master("local[ 阅读全文
posted @ 2020-06-26 17:44 数据驱动 阅读(268) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页