摘要： 一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意：集群搭建完毕后，Flink程序就可以打成Jar， ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件： ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文 阅读全文

摘要： 一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN)； ~~~ 方式一：yarn session启动 ~~~ 方式二：per job方式启动 二、YARN Session方式：Flink.y 阅读全文

摘要： 一、Flink运行架构：Flink程序结构 ### Flink程序结构 ~~~ Flink程序的基本构建块是流和转换（请注意，Flink的DataSet API中使用的DataSet也是内部流）。 ~~~ 从概念上讲，流是（可能永无止境的）数据记录流，而转换是将一个或多个流输入， ~~~ 并产生一个 阅读全文

摘要： 一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local（本地）：单机模式，一般本地开发调试使用 ~~~ StandAlone 独立模式：Flink自带集群，自己管理资源调度，生产环境也会有所应用 ~~~ Yarn模式：计算资源统一由Hadoop YARN管理，生产环境应用较 阅读全文

摘要： 一、Flink的重要角色 ### Flink的重要角色 ~~~ # Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是Slave。 ~~~ # JobManager处理器（Master） ~~~ 协调分布式执行，它们用来调度task， 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、单词统计案例（流数据） ### 需求 ~~~ Socket模拟实时发送单词，使用Flink实时接收数据， ~~~ 对指定时间窗口内（如5s）的数据进行聚合统计，每隔1s汇总计算一次， ~~~ 并且把时间窗口内计算结果打印出来。 二、编程代码实现 ### 代码实现 import org.apach 阅读全文

摘要： 一、单词统计案例（流数据） ### 需求 ~~~ Socket模拟实时发送单词，使用Flink实时接收数据， ~~~ 对指定时间窗口内（如5s）的数据进行聚合统计，每隔1s汇总计算一次， ~~~ 并且把时间窗口内计算结果打印出来。 二、编程代码实现 ### 代码实现 package com.yanq 阅读全文

摘要： 一、Flink快速应用 ### Flink快速应用 ~~~ 通过一个单词统计的案例，快速上手应用Flink，进行流处理（Streaming）和批处理（Batch） 二、单词统计案例（批数据）——>Java版 ### 需求 ~~~ 统计一个文件中各个单词出现的次数，把统计结果输出到文件 ~~~ # 步 阅读全文

摘要： 一、单词统计案例（批数据）——>scala版 ### 需求 ~~~ 统计一个文件中各个单词出现的次数，把统计结果输出到文件 ### 创建scala资源文件夹 ~~~ 创建scala资源文件夹并导入scala依赖环境 二、编程代码实现 ### 编程代码实现 import org.apache.flin 阅读全文

摘要： 一、Flink 处理模型：流处理与批处理 ### Flink 专注于无限流处理，有限流处理是无限流处理的一种特殊情况 ~~~ # 无限流处理： ~~~ 输入的数据没有尽头，像水流一样源源不断 ~~~ 数据处理从当前或者过去的某一个时间 点开始，持续不停地进行 ~~~ # 有限流处理： ~~~ 从某一 阅读全文

摘要： 一、Flink概述：什么是Flink ### 什么是 Flink ~~~ Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 ~~~ Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 ~~~ Flink起源于2008年柏林理工大 阅读全文

摘要： 一、Flink 应用场景 ### Flink应用场景 ~~~ Flink主要应用于流式数据分析场景 ~~~ 数据无处不在，绝大多数的企业所采取的处理数据的架构都会划分成两类： ~~~ 事务型处理、分析型处理 二、事务型处理 ### 事务性处理 ~~~ OLTP On-Line Transaction 阅读全文

摘要： 一、Flink 核心组成及生态发展 ### Flink核心组成 ~~~ # Deploy层： ~~~ 可以启动单个JVM，让Flink以Local模式运行 ~~~ Flink也可以以Standalone 集群模式运行，同时也支持Flink ON YARN， ~~~ Flink应用直接提交到YARN上 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Spark优化 ### 编码优化： ~~~ ① RDD复用 ~~~ ② RDD持久化 ~~~ ③ 巧用 filter ~~~ ④ 选择高性能算子 ~~~ ⑤ 设置合并的并行度 ~~~ ⑥ 广播大变量 ~~~ ⑦ Kryo序列化 ~~~ ⑧ 多使用Spark SQL ~~~ ⑨ 优化数据结构 ~~ 阅读全文

摘要： 一、BlockManager ### BlockManager ~~~ BlockManager是一个嵌入在 Spark 中的 key-value型分布式存储系统，也是 Master-Slave 结构的， ~~~ RDD-cache、shuffle-output、broadcast 等的实现都是基于 阅读全文

摘要： 一、数据倾斜 ### 基本概念 ~~~ 这是我们期望的处理模式： ### 什么是数据倾斜 ~~~ Task之间数据分配的非常不均匀 ~~~ key.hashCode % reduce个数 = 分区号 ### 数据倾斜有哪些现象 ~~~ Executor lost、OOM、Shuffle过程出错、程序 阅读全文

摘要： 一、数据倾斜处理 ### 做好数据预处理： ~~~ 过滤key中的空值 ~~~ 消除数据源带来的数据倾斜（文件采用可切分的压缩方式） ~~~ 数据倾斜产生的主要原因：Shuffle + key分布不均 ### 处理数据倾斜的基本思路： ~~~ 消除shuffle ~~~ 减少shuffle过程中传输 阅读全文

摘要： 一、执行内存管理 ### 执行内存管理 ~~~ 执行内存主要用来存储任务在执行 Shuffle 时占用的内存， ~~~ Shuffle 是按照一定规则对 RDD 数据重新分区的过程， ~~~ Shuffle 的 Write 和 Read 两阶段对执行内存的使用： ### Shuffle Write 阅读全文

摘要： 一、存储内存管理 ### 存储内存管理 ~~~ 堆内内存：系统保留(300M)、Other、存储内存、执行内存 ~~~ 堆外内存：存储内存、执行内存 ~~~ 存储内存：RDD缓存的数据 & 共享变量 ~~~ RDD的持久化 ~~~ RDD缓存的过程 ~~~ 淘汰与落盘 二、RDD 持久化机制 ### 阅读全文

摘要： 一、内存管理 ### 内存管理 ~~~ 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程： ~~~ Driver为主控进程，负责创建 Spark 上下文，提交 Spark 作业，将作业转化为 Task， ~~~ 并在各个 Executo 阅读全文

摘要： 一、静态内存管理 ### 静态内存管理 ### 静态内存架构 ~~~ Spark 2.0 以前版本采用静态内存管理机制。存储内存、 ~~~ 执行内存和其他内存的大小在 Spark 应用程序运行期间均为固定的， ~~~ 但用户可以应用程序启动前进行配置，堆内内存的分配如下图所示： ### 静态内存管理 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Shuffle Writer ### Shuffle Writer：ShuffleWriter（抽象类），有3个具体的实现： ~~~ SortShuffleWriter。sortShulleWriter 需要在 Map 排序 ~~~ UnsafeShuffleWriter。使用 Java Uns 阅读全文

摘要： 一、Hadoop Shuffle 与 Spark Shuffle 的区别 ### 共同点： ~~~ 二者从功能上看是相似的；从High Level来看，没有本质区别，实现（细节）上有区别 ### 实现上的区别： ~~~ Hadoop中有一个Map完成，Reduce便可以去fetch数据了，不必等到所 阅读全文

摘要： 一、Shuffle详解 ### shuffle详解 ~~~ 在 Spark 或 MapReduce 分布式计算框架中，数据被分成一块一块的分区， ~~~ 分布在集群中各节点上，每个计算任务一次处理一个分区， ~~~ 当需要对具有某种共同特征的一类数据进行计算时，就需要将集群中的这类数据汇聚到同一节点 阅读全文

摘要： 一、Hash Shuffle V1 ### Hash Shuffle V1 ~~~ 相对于传统的 MapReduce， ~~~ Spark 假定大多数情况下 Shuffle 的数据不需要排序，强制排序反而会降低性能。 ~~~ 因此不在 Shuffle Read 时做 Merge Sort，如果需要合 阅读全文

摘要： 一、Sort Shuffle V1 ### Sort Shuffle V1 ~~~ 为了更好地解决上面的问题，Spark 参考了 MapReduce 中 Shuffle 的处理方式， ~~~ 引入基于排序的 Shuffle 写操作机制。 ~~~ 每个 Task 不会为后续的每个 Task 创建单独的 阅读全文

摘要： 一、本地化调度 ### 本地化调度 ~~~ DAGScheduler切割Job，划分Stage。 ~~~ 调用submitStage来提交一个Stage对应的tasks，submitStage会调用submitMissingTasks， ~~~ submitMissingTasks 确定每个需要计算 阅读全文

摘要： 一、Task调度 ### Task调度 ### TaskSetManager 结构如下图所示： ~~~ Task 的调度是由 TaskScheduler 来完成（底层调度）。 ~~~ DAGScheduler 将 Stage 打包到 TaskSet 交给TaskScheduler， ~~~ Task 阅读全文

摘要： 一、作业执行原理 ### 调度策略 ~~~ TaskScheduler会先把 DAGScheduler 给过来的 TaskSet 封装成 TaskSetManager 扔到任务队列里， ~~~ 然后再从任务队列里按照一定规则把它们取出来，由 SchedulerBackend 发送给Executor运 阅读全文

摘要： 一、Stage划分 ### 提交 Task ~~~ 得到RDD中需要计算的partition ~~~ 对于Shuffle类型的stage，需要判断stage中是否缓存了该结果； ~~~ 对于Result类型的Final Stage，则判断计算Job中该partition是否已经计算完成。 ~~~ 这 阅读全文

摘要： 一、Stage划分 ### 提交ResultStage ~~~ submitStage 方法会通过入参 ResultStage 逐层获取父stage， ~~~ 再从最上游stage开始逐步调用TaskScheduler.submitTasks 方法提交task集合， ~~~ 最后才提交ResultS 阅读全文

摘要： 一、Stage划分 ### 调用 dagScheduler.handleJobSubmitted ~~~ # 源码提取说明：DAGScheduler.scala ~~~ # 952行~1015行 // 处理Job的提交 private[scheduler] def handleJobSubmitte 阅读全文

摘要： 一、Stage划分 ### handleJobSubmitted => createResultStage ~~~ # 源码提取说明： ~~~ # 440行~522行 private def createResultStage( rdd: RDD[_], func: (TaskContext, It 阅读全文

摘要： 一、Stage划分 ### Stage划分 ~~~ Spark的任务调度从 DAG 划分开始，由 DAGScheduler 完成 ~~~ DAGScheduler 根据 RDD 的血缘关系构成的 DAG 进行切分，将一个Job划分为若干Stages， ~~~ 具体划分策略是：从最后一个RDD开始， 阅读全文

摘要： 一、stage划分 ### dagScheduler.submit 发送消息 ~~~ # 源码提取说明：DAGScheduler.scala ~~~ # 676行~703行 def submitJob[T, U]( rdd: RDD[T], func: (TaskContext, Iterator[ 阅读全文