2016年5月25日

第13课：Spark Streaming源码解读之Driver容错安全性

摘要： 本篇博文的目标如下： 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性 文章的组织思路如下： 考虑Driver容错安全性，我们要思考什么？ 再详细分析ReceiverBlockTracker，DStream和JobGenerator容 阅读全文

posted @ 2016-05-25 07:40 l_time 阅读(189) 评论(0) 推荐(0)

第12课：Spark Streaming源码解读之Executor容错安全性

摘要： 本篇博文的目标是 1. Executor的WAL机制详解 2. 消息重放Kafka 数据安全性的考虑： Executor容错方式： 1. 最简单的容错是副本方式，基于底层BlockManager副本容错，也是默认的容错方式。 2. 接收到数据之后不做副本，支持数据重放，所谓重放就是支持反复读取数据。 阅读全文

posted @ 2016-05-25 07:35 l_time 阅读(207) 评论(0) 推荐(0)

第11课：Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

摘要： Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理 一：ReceiverTracker的架构设计 1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是 阅读全文

posted @ 2016-05-25 07:29 l_time 阅读(195) 评论(0) 推荐(0)

导航