随笔分类 -  Spark Streaming 进阶

第12课：Spark Streaming源码解读之Executor容错安全性
摘要：一、Spark Streaming 数据安全性的考虑： Executor容错方式： 1. 最简单的容错是副本方式，基于底层BlockManager副本容错，也是默认的容错方式。 2.WAL日志方式 3. 接收到数据之后不做副本，支持数据重放，所谓重放就是支持反复读取数据。 BlockManager备 阅读全文

posted @ 2016-05-28 22:49 听风居士 阅读(510) 评论(0) 推荐(0)

11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究
摘要：上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker： 本文将详细解析ReceiverTracker的的架构设计和具体实现 本文将详细解析ReceiverTracker的的架构设计和具体实现 一、Receiver 阅读全文

posted @ 2016-05-28 12:32 听风居士 阅读(754) 评论(0) 推荐(1)

7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析
摘要：原创文章，转载请注明:转载自 听风居士博客(http://www.cnblogs.com/zhouyf/) 上篇博客讨论了Spark Streaming 程序动态生成Job的过程,并留下一个疑问: JobScheduler将动态生成的Job提交,然后调用了Job对象的run方法,最后run方法的调用 阅读全文

posted @ 2016-05-20 12:29 听风居士 阅读(13414) 评论(0) 推荐(3)

5.Spark Streaming流计算框架的运行流程源码分析2
摘要：1 spark streaming 程序代码实例 代码如下： [html] view plain copy object OnlineTheTop3ItemForEachCategory2DB { def main(args: Array[String]){ val conf = new Spark 阅读全文

posted @ 2016-05-11 11:16 听风居士 阅读(1418) 评论(0) 推荐(0)

4.Spark Streaming事务处理
摘要：首先，我们必须知道什么是事务及其一致性？ 事务应该具有4个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。 原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。 一致性（consistency）。事务必须是使数据库从一个一致性 阅读全文

posted @ 2016-05-09 18:57 听风居士 阅读(932) 评论(0) 推荐(0)

2.Spark Streaming运行机制和架构
摘要：1 解密Spark Streaming运行机制 上节课我们谈到了技术界的寻龙点穴。这就像过去的风水一样，每个领域都有自己的龙脉，Spark就是龙脉之所在，它的龙穴或者关键点就是SparkStreaming。这是上一节课我们非常清晰知道的结论之一。而且上一节课，我们采用了降维的方式。所谓降维的方式，是 阅读全文

posted @ 2016-05-08 20:59 听风居士 阅读(1932) 评论(0) 推荐(0)

1.Spark Streaming另类实验与 Spark Streaming本质解析
摘要：1 Spark源码定制选择从Spark Streaming入手 我们从第一课就选择Spark子框架中的SparkStreaming。 那么，我们为什么要选择从SparkStreaming入手开始我们的Spark源码版本定制之路？ 有下面几个方面的理由： 1）Spark大背景 Spark 最开始没有我 阅读全文

posted @ 2016-05-08 20:40 听风居士 阅读(1211) 评论(0) 推荐(0)

3.spark streaming Job 架构和容错解析
摘要：一.Spark streaming Job 架构 SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。 Spark Streaming的Job 分为两大类: 每隔BatchInterval时间片就会产生的一个个Job，这里的Job并不是Spar 阅读全文

posted @ 2016-05-08 18:37 听风居士 阅读(947) 评论(0) 推荐(0)

导航