上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页

2016年8月8日

Spark Streaming揭秘 Day26 JobGenerator源码图解

摘要: Spark Streaming揭秘 Day26 JobGenerator源码图解 今天主要解析一下JobGenerator,它相当于一个转换器,和机器学习的pipeline比较类似,因为最终运行在SparkCore上,作为应用程序,需要开发者提供一些信息才能够运行。 简述 JobGenerator这 阅读全文

posted @ 2016-08-08 21:24 l_time 阅读(179) 评论(0) 推荐(0)

Spark Streaming揭秘 Day25 StreamingContext和JobScheduler启动源码详解

摘要: Spark Streaming揭秘 Day25 StreamingContext和JobScheduler启动源码详解 今天主要理一下StreamingContext的启动过程,其中最为重要的就是JobScheduler的启动。 StreamingContext启动 我们首先看下start方法的上半 阅读全文

posted @ 2016-08-08 21:23 l_time 阅读(216) 评论(0) 推荐(0)

Spark Streaming揭秘 Day23 启动关闭源码图解

摘要: Spark Streaming揭秘 Day23 启动关闭源码图解 今天主要分析一下SparkStreaming的启动和关闭过程。 从Demo程序出发,主要聚焦在两段代码: 启动代码: 关闭代码: 启动过程 StreamingContext是对SparkContext的封装,是个装饰器模式,相当于给S 阅读全文

posted @ 2016-08-08 21:22 l_time 阅读(196) 评论(0) 推荐(0)

Spark Streaming揭秘 Day24 Transformation和action图解

摘要: Spark Streaming揭秘 Day24 Transformation和action图解 今天我们进入SparkStreaming的数据处理,谈一下两个重要的操作Transfromation和action背后的故事。 InputReceiver 根据前面的课程,我们知道Transformati 阅读全文

posted @ 2016-08-08 21:22 l_time 阅读(137) 评论(0) 推荐(0)

Spark Streaming揭秘 Day22

摘要: 架构源码图解 今天主要是通过图解的方式,对SparkStreaming的架构进行一下回顾。 下面这个是其官方标准的流程描述。 SparkStreaming会源源不断的接收数据源,然后根据时间切割成不同的Batch,每个Batch都会产生RDD,RDD运行在Spark的引擎之上,处理会产生运行的结果。 阅读全文

posted @ 2016-08-08 21:21 l_time 阅读(115) 评论(0) 推荐(0)

Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

摘要: Spark Streaming揭秘 Day21 动态Batch size实现初探(下) 接昨天的描述,今天继续解析动态Batch size调整的实现。 算法 动态调整采用了Fix-point迭代算法,其本质是一种回归计算,算法如下: 有点类似机器学习,学习当前SparkStreaming的状况,根据 阅读全文

posted @ 2016-08-08 21:20 l_time 阅读(310) 评论(0) 推荐(0)

Spark Streaming揭秘 Day20

摘要: 动态Batch size实现初探(上) 今天开始,主要是通过对动态Batch size调整的论文的解析,来进一步了解SparkStreaming的处理机制,因为比较偏理论,么有代码演示。 缘起 从目前的业务发展来看,线上处理目前来看已经越来越重要,而一个突出的矛盾就是,传统框架Oracle+j2ee 阅读全文

posted @ 2016-08-08 21:19 l_time 阅读(147) 评论(0) 推荐(0)

Spark Streaming揭秘 Day19

摘要: 架构设计和运行机制 今天主要讨论一些SparkStreaming设计的关键点,也算做个小结。 DStream设计 首先我们可以进行一个简单的理解:DStream就是加上时间维度的RDD。RDD的模板是DStream,DAG的模板是DStreamGraph,RDD的依赖关系就是DStream的依赖关系 阅读全文

posted @ 2016-08-08 21:16 l_time 阅读(113) 评论(0) 推荐(0)

2016年7月28日

第7课:Spark机器学习内幕剖析

摘要: 阅读全文

posted @ 2016-07-28 12:57 l_time 阅读(89) 评论(0) 推荐(0)

Spark 定制版:018~Spark Streaming中空RDD处理及流处理程序优雅的停止

摘要: 本讲内容: a. Spark Streaming中的空RDD处理 b. Spark Streaming程序的停止 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解 上节回顾 上一讲中,我们要给大家解密park Streaming两个比较高级的特性,资源动态申 阅读全文

posted @ 2016-07-28 12:56 l_time 阅读(649) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页

导航