该文被密码保护。 阅读全文
posted @ 2020-10-14 09:24 来自遥远的水星 阅读(0) 评论(0) 推荐(0) 编辑
摘要:说明 当前处理只实现手动维护offset到mysql,只能保证数据不丢失,可能会重复 要想实现精准一次性,还需要将数据提交和offset提交维护在一个事务中 官网说明 Your own data store For data stores that support transactions, sav 阅读全文
posted @ 2020-10-13 15:53 来自遥远的水星 阅读(117) 评论(0) 推荐(0) 编辑
摘要:1.导入依赖 <!-- flink Web UI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version 阅读全文
posted @ 2020-09-21 13:12 来自遥远的水星 阅读(116) 评论(0) 推荐(0) 编辑
摘要:和其他所有的计算框架一样,flink也有一些基础的开发步骤以及基础,核心的API,当前Java版本,从开发步骤的角度来讲,主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx 阅读全文
posted @ 2020-09-18 20:45 来自遥远的水星 阅读(31) 评论(0) 推荐(0) 编辑
摘要:依赖 <!-- mysql连接 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version> </dependency> 代码实现 i 阅读全文
posted @ 2020-09-18 15:51 来自遥远的水星 阅读(25) 评论(0) 推荐(0) 编辑
摘要:一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后,Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务, 2) ResourceManager分配Container资源,Yarn通知NodeManager启动Applica 阅读全文
posted @ 2020-09-16 19:34 来自遥远的水星 阅读(34) 评论(0) 推荐(0) 编辑
摘要:一.介绍 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。 Spark | Flink spark 处理方式:批处理 延时性:高延迟(采集周期) 缺点:精准一次性消费,错乱延迟数据,延迟高 flink 处理方式:流处理(有界,无界) 延时性:低延迟 优点:① 阅读全文
posted @ 2020-09-15 20:28 来自遥远的水星 阅读(58) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-14 20:33 来自遥远的水星 阅读(0) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-14 20:28 来自遥远的水星 阅读(0) 评论(0) 推荐(0) 编辑
摘要:使用场景 大表join小表 只能广播小表 普通的join是会走shuffle过程的,而一旦shuffle,就相当于会将相同key的数据拉取到一个shuffle read task中再进行join,此时就是reduce join。但是如果一个RDD是比较小的,则可以采用广播小RDD全量数据+map算子 阅读全文
posted @ 2020-09-14 18:19 来自遥远的水星 阅读(149) 评论(0) 推荐(0) 编辑