合集-Flink实战
摘要:从2003开始,Google先后公开了三篇论文(被业界戏称为三驾马车):Google FS、MapReduce、BigTable,一举拉开了大数据时代的序幕,在这三篇论文的基础上诞生了HDFS、Spark、Storm等一大批优秀的计算框架,Flink亦是其中之一。Flink的前身是柏林和一些欧洲的大
阅读全文
摘要:大数据计算一般需要经历输入→处理→输出三个步骤: Flink也是如此,我们先看一个例子,假设我们有一个文件(log.txt)用来记录用户发言数据(MsgInfo),每笔信息一行,现在我们通过Flink来统计每个用户的发言次数: /** * Flink处理流程。 * <br/> * 注:Flink D
阅读全文
摘要:Flink程序执行前,需要先获取执行环境,根据执行环境的不同,可分为ExecutionEnvironment和StreamExecutionEnvironment。 ExecutionEnvironment 用于批量数据处理的执行环境,通常用于需要处理大量静态数据的场景,如磁盘或内存中的数据集。 c
阅读全文
摘要:Flink-Data Source 作为数据流的起点,大数据计算会使用各种各样的数据源,Flink除了支持常用的如文件、数据库、队列、Socket之外,还提供了自定义的方式让用户自由的连接数据源。 内置数据源 集合 从集合中读取数据: env.fromElements("apple","orange
阅读全文

浙公网安备 33010602011771号