l_time

摘要： Spark Streaming揭秘 Day26 JobGenerator源码图解 今天主要解析一下JobGenerator，它相当于一个转换器，和机器学习的pipeline比较类似，因为最终运行在SparkCore上，作为应用程序，需要开发者提供一些信息才能够运行。 简述 JobGenerator这 阅读全文

摘要： Spark Streaming揭秘 Day25 StreamingContext和JobScheduler启动源码详解 今天主要理一下StreamingContext的启动过程，其中最为重要的就是JobScheduler的启动。 StreamingContext启动 我们首先看下start方法的上半 阅读全文

摘要： Spark Streaming揭秘 Day23 启动关闭源码图解 今天主要分析一下SparkStreaming的启动和关闭过程。 从Demo程序出发，主要聚焦在两段代码： 启动代码： 关闭代码： 启动过程 StreamingContext是对SparkContext的封装，是个装饰器模式，相当于给S 阅读全文

摘要： Spark Streaming揭秘 Day24 Transformation和action图解 今天我们进入SparkStreaming的数据处理，谈一下两个重要的操作Transfromation和action背后的故事。 InputReceiver 根据前面的课程，我们知道Transformati 阅读全文

摘要： 架构源码图解 今天主要是通过图解的方式，对SparkStreaming的架构进行一下回顾。 下面这个是其官方标准的流程描述。 SparkStreaming会源源不断的接收数据源，然后根据时间切割成不同的Batch，每个Batch都会产生RDD，RDD运行在Spark的引擎之上，处理会产生运行的结果。 阅读全文

摘要： Spark Streaming揭秘 Day21 动态Batch size实现初探(下) 接昨天的描述，今天继续解析动态Batch size调整的实现。 算法 动态调整采用了Fix-point迭代算法，其本质是一种回归计算，算法如下： 有点类似机器学习，学习当前SparkStreaming的状况，根据 阅读全文

摘要： 动态Batch size实现初探(上) 今天开始，主要是通过对动态Batch size调整的论文的解析，来进一步了解SparkStreaming的处理机制，因为比较偏理论，么有代码演示。 缘起 从目前的业务发展来看，线上处理目前来看已经越来越重要，而一个突出的矛盾就是，传统框架Oracle+j2ee 阅读全文

摘要： 架构设计和运行机制 今天主要讨论一些SparkStreaming设计的关键点，也算做个小结。 DStream设计 首先我们可以进行一个简单的理解：DStream就是加上时间维度的RDD。RDD的模板是DStream,DAG的模板是DStreamGraph，RDD的依赖关系就是DStream的依赖关系 阅读全文

摘要： 阅读全文

摘要： 本讲内容： a. Spark Streaming中的空RDD处理 b. Spark Streaming程序的停止 注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解 上节回顾 上一讲中，我们要给大家解密park Streaming两个比较高级的特性，资源动态申 阅读全文