上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页
摘要: 一、定长数组 在 Scala 中,如果你需要一个长度不变的数组,可以使用 Array。但需要注意以下两点: 在 Scala 中使用 (index) 而不是 [index] 来访问数组中的元素,因为访问元素,对于 Scala 来说是方法调用,(index) 相当于执行了 .apply(index) 方 阅读全文
posted @ 2020-06-29 09:52 数据驱动 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 一、条件表达式if Scala 中的 if/else 语法结构与 Java 中的一样,唯一不同的是,Scala 中的 if 表达式是有返回值的。 object ScalaApp extends App { val x = "scala" val result = if (x.length == 5) 阅读全文
posted @ 2020-06-29 09:51 数据驱动 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 一、数据类型 1.1 类型支持 Scala 拥有下表所示的数据类型,其中 Byte、Short、Int、Long 和 Char 类型统称为整数类型,整数类型加上 Float 和 Double 统称为数值类型。Scala 数值类型的取值范围和 Java 对应类型的取值范围相同。 数据类型 描述 Byt 阅读全文
posted @ 2020-06-29 09:48 数据驱动 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 一、Scala简介 1.1 概念 Scala 全称为 Scalable Language,即“可伸缩的语言”,之所以这样命名,是因为它的设计目标是希望伴随着用户的需求一起成长。Scala 是一门综合了面向对象和函数式编程概念的静态类型的编程语言,它运行在标准的 Java 平台上,可以与所有的 Jav 阅读全文
posted @ 2020-06-29 09:42 数据驱动 阅读(497) 评论(0) 推荐(0) 编辑
摘要: 一、部署模式 Flink 支持使用多种部署模式来满足不同规模应用的需求,常见的有单机模式,Standalone Cluster 模式,同时 Flink 也支持部署在其他第三方平台上,如 YARN,Mesos,Docker,Kubernetes 等。以下主要介绍其单机模式和 Standalone Cl 阅读全文
posted @ 2020-06-28 11:09 数据驱动 阅读(2581) 评论(0) 推荐(0) 编辑
摘要: 一、状态分类 相对于其他流计算框架,Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存,并提供给后续的计算使用: 具体而言,Flink 又将状态 (State) 分为 Operator State 与 Keyed State: 2.1 算子状态 算子状态 (Oper 阅读全文
posted @ 2020-06-28 10:44 数据驱动 阅读(637) 评论(0) 推荐(0) 编辑
摘要: 一、窗口概念 在大多数场景下,我们需要统计的数据流都是无界的,因此我们无法等待整个数据流终止后才进行统计。通常情况下,我们只需要对某个时间范围或者数量范围内的数据进行统计分析:如每隔五分钟统计一次过去一小时内所有商品的点击量;或者每发生1000次点击后,都去统计一下每个商品点击率的占比。在 Flin 阅读全文
posted @ 2020-06-28 09:15 数据驱动 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 一、Data Sinks 在使用 Flink 进行数据处理时,数据经 Data Source 流入,然后通过系列 Transformations 的转化,最终可以通过 Sink 将计算结果进行输出,Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 阅读全文
posted @ 2020-06-28 08:46 数据驱动 阅读(1182) 评论(0) 推荐(0) 编辑
摘要: 一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类: DataStream Transformations:进行数据流相关转换操作; Physical pa 阅读全文
posted @ 2020-06-28 07:44 数据驱动 阅读(279) 评论(0) 推荐(0) 编辑
摘要: 一、内置 Data Source Flink Data Source 用于定义 Flink 程序的数据来源,Flink 官方提供了多种数据获取方法,用于帮助开发者简单快速地构建输入流,具体如下: 1.1 基于文件构建 1. readTextFile(path):按照 TextInputFormat 阅读全文
posted @ 2020-06-27 21:49 数据驱动 阅读(548) 评论(0) 推荐(1) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页