摘要： 本讲内容： a. Spark Streaming资源动态分配 b. Spark Streaming动态控制消费速率 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解 上节回顾 上一讲中，我们要给大家解密Spark Streaming中数据清理的流程，主要从背 阅读全文

摘要： 本讲内容： a. Spark Streaming数据清理原因和现象 b. Spark Streaming数据清理代码解析 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。 上节回顾 上一讲中，我们之所以用一节课来讲No Receivers，是因为企业级Sp 阅读全文

摘要： 本讲内容： a. Direct Acess b. Kafka 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。 上节回顾 上一讲中，我们讲Spark Streaming中一个非常重要的内容：State状态管理 a. 为了说明state状态管理，拿两个非常具 阅读全文

摘要： 本讲内容： a. updateStateByKey解密 b. mapWithState解密 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。 上节回顾 上一讲中，我们从Spark Streaming源码解读Driver容错安全性：那么什么是Driver容错 阅读全文

摘要： 本篇博文的目标如下： 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性 文章的组织思路如下： 考虑Driver容错安全性，我们要思考什么？ 再详细分析ReceiverBlockTracker，DStream和JobGenerator容 阅读全文

摘要： 本篇博文的目标是 1. Executor的WAL机制详解 2. 消息重放Kafka 数据安全性的考虑： Executor容错方式： 1. 最简单的容错是副本方式，基于底层BlockManager副本容错，也是默认的容错方式。 2. 接收到数据之后不做副本，支持数据重放，所谓重放就是支持反复读取数据。 阅读全文

摘要： Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理 一：ReceiverTracker的架构设计 1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是 阅读全文

摘要： 特别说明： 在上一遍文章中有详细的叙述Receiver启动的过程，如果不清楚的朋友，请您查看上一篇博客，这里我们就基于上篇的结论，继续往下说。 博文的目标是： Spark Streaming在接收数据的全生命周期贯通 组织思路如下： a) 接收数据的架构模式的设计 b) 然后再具体源码分析 接收数据 阅读全文

摘要： 一：Receiver启动的方式设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。 2. Receiver属于Spark Streaming应用程序启动 阅读全文

摘要： 本篇博客将详细探讨DStream模板下的RDD是如何被创建，然后被执行的。在开始叙述之前，先来思考几个问题，本篇文章也就是基于此问题构建的。 1. RDD是谁产生的？ 2. 如何产生RDD？ 带着这两个问题开启我们的探索之旅。 一：实战WordCount源码如下： 至此，我们就知道了，RDD是DSt 阅读全文