xuanlin的专栏 - 博客园

2016年5月24日

摘要：本期内容 : 数据接收架构设计模式数据接收源码彻底研究一、Spark Streaming数据接收设计模式 Spark Streaming接收数据也相似MVC架构： 1、 Mode相当于Receiver存储数据，C级别的，Receiver是个抽象因为他有好多的Receiver 2、 Receive 阅读全文

posted @ 2016-05-24 18:53 xuanlin的专栏阅读(253) 评论(0) 推荐(0)

Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考

摘要：本期内容 : Receiver启动的方式设想 Receiver启动源码彻底分析多个输入源输入启动，Receiver启动失败，只要我们的集群存在就希望Receiver启动成功，运行过程中基于每个Teark启动都有可能运行失败。启动一个应用程序的不同Receiver采用一个不同RDD的partion 阅读全文

posted @ 2016-05-24 18:52 xuanlin的专栏阅读(344) 评论(0) 推荐(0)

Spark Streaming源码解读之生成全生命周期彻底研究与思考

摘要：本期内容 : DStream与RDD关系彻底研究 Streaming中RDD的生成彻底研究问题的提出： 1、 RDD是怎么生成的，依靠什么生成 2、执行时是否与Spark Core上的RDD执行有什么不同的 3、运行之后我们要怎么处理为什么有第三点 : 是因为Spark Streaming 阅读全文

posted @ 2016-05-24 18:51 xuanlin的专栏阅读(629) 评论(0) 推荐(0)

Spark Streaming源码解读之JobScheduler内幕实现和深度思考

摘要：本期内容 : JobScheduler内幕实现 JobScheduler深度思考 JobScheduler 是整个Spark Streaming调度的核心，需要设置多线程，一条用于接收数据不断的循环，另外一条是处理线程，同时需要把调度与执行分离开。一、作业流程源码：首先只要定义了BatchD 阅读全文

posted @ 2016-05-24 16:56 xuanlin的专栏阅读(721) 评论(0) 推荐(0)

Spark Streaming源码解读之Job动态生成和深度思考

摘要：本期内容 : Spark Streaming Job生成深度思考 Spark Streaming Job生成源码解析 Spark Core中的Job就是一个运行的作业，就是具体做的某一件事，这里的JOB由于它是基于Spark Core所以Spark Streaming对其进行了封装。大数据开发应用阅读全文

posted @ 2016-05-24 16:55 xuanlin的专栏阅读(340) 评论(0) 推荐(0)

2016年5月8日

基于案例贯通 Spark Streaming 流计算框架的运行源码

摘要：本期内容 : Spark Streaming+Spark SQL案例展示基于案例贯穿Spark Streaming的运行源码一、案例代码阐述 : 在线动态计算电商中不同类别中最热门的商品排名，例如:手机类别中最热门的三种手机、电视类别中最热门的三种电视等。 1、案例运行代码 : 2、案例流程框阅读全文

posted @ 2016-05-08 11:15 xuanlin的专栏阅读(414) 评论(0) 推荐(0)

2016年5月7日

Spark Streaming 事务处理彻底掌握

摘要：本期内容： 1. Exactly once容错 2. 数据输出不重复一. 事务场景 : 以银行转帐一次为例，A用户转账给B用户，如何保证事务的一致性，即A用户能够转出且只能转出一次，B用户能够收到且只能收到一次。二. Exactly once容错：事务处理中如何保证能够处理且只能处理一次，数据阅读全文

posted @ 2016-05-07 11:42 xuanlin的专栏阅读(2189) 评论(0) 推荐(0)

2016年5月4日

通过案例对 spark streaming 透彻理解三板斧之三：spark streaming运行机制与架构

摘要：本期内容： 1. Spark Streaming Job架构与运行机制 2. Spark Streaming 容错架构与运行机制事实上时间是不存在的，是由人的感官系统感觉时间的存在而已，是一种虚幻的存在，任何时候宇宙中的事情一直在发生着的。 Spark Streaming好比时间，一直遵循其运行机阅读全文

posted @ 2016-05-04 09:57 xuanlin的专栏阅读(509) 评论(0) 推荐(0)

2016年5月3日

通过案例对 spark streaming 透彻理解三板斧之二：spark streaming运行机制

摘要：本期内容： 1. Spark Streaming架构 2. Spark Streaming运行机制 Spark大数据分析框架的核心部件： spark Core、spark Streaming流计算、GraphX图计算、MLlib机器学习、Spark SQL、Tachyon文件系统、SparkR计算引阅读全文

posted @ 2016-05-03 16:35 xuanlin的专栏阅读(2004) 评论(0) 推荐(0)

通过案例对 spark streaming 透彻理解三板斧之一： spark streaming 另类实验

摘要：本期内容 : spark streaming另类在线实验瞬间理解spark streaming本质一．我们最开始将从Spark Streaming入手为何从Spark Streaming切入Spark定制？Spark的子框架已有若干，为何选择Spark Streaming？让我们细细道来。阅读全文

posted @ 2016-05-03 12:04 xuanlin的专栏阅读(4102) 评论(0) 推荐(0)