哎哟慰

摘要： Kakfa揭秘 Day3 Kafka源码概述 今天开始进入Kafka的源码，本次学习基于最新的0.10.0版本进行。由于之前在学习Spark过程中积累了很多的经验和思想，这些在kafka上是通用的。 总体 首先从总体方式进行一下分析，进入最关键的core。 从源码角度看，最关键的是标红的几个模块。 阅读全文

摘要： Spark Streaming揭秘 Day33 Kafka内核再揭秘 优秀的框架会把引擎做到极致，Kafka就是这样，让我们再深入一下研究。 设计目标 kafka系统有着比较独特的的设计，包括5点： 1. kafka第一设计原则是速度，不是个考虑功能的消息组件，主要考虑的是消息的传递速度，为了速度可 阅读全文

摘要： Spark Streaming揭秘 Day32 Kafka原理内幕 今天开始，会有几天的时间，和大家研究下Kafka。在大数据处理体系中，kafka的重要性不亚于SparkStreaming。可以认为sparkstreaming掌控处理，而kafka掌控流程控制。 让我们来了解下sparkstrea 阅读全文

摘要： Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析（续） 今天延续昨天的内容，主要对为什么一个处理会分解成多个Job执行进行解析。 让我们跟踪下Job调用过程。 从框架代码开始 我们从生成Job开始，generateJobs方法产生了Job，之后，提交了一 阅读全文

摘要： Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察、研究和透彻的刨析SparkStreaming的日志和web监控台。 Day28已经分析过local模式下的日志，集群模式会比较类似，这次主要是对集群模式在的web监控台，进行统一 阅读全文

摘要： Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中，Spark Streaming获得了比较全面的升级，称为Structured Streaming，和之前的很不同，功能更强大，效率更高，跟其他的组件整合性也更好 阅读全文

摘要： Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕 今天会逐行解析一下SparkStreaming运行的日志，运行的是WordCountOnline这个Demo。 启动过程 SparkStreaming启动是从如下日志开始： 16/06/ 阅读全文

摘要： Spark Streaming揭秘 Day27 Job产生机制 今天主要讨论一个问题，就是除了DStream action以外，还有什么地方可以产生Job，这会有助于了解Spark Streaming的本质。 我们从一个print方法触发，来看一下常用的action操作方式： 传统流程 一般来说，产 阅读全文

摘要： Spark Streaming揭秘 Day26 JobGenerator源码图解 今天主要解析一下JobGenerator，它相当于一个转换器，和机器学习的pipeline比较类似，因为最终运行在SparkCore上，作为应用程序，需要开发者提供一些信息才能够运行。 简述 JobGenerator这 阅读全文

摘要： Spark Streaming揭秘 Day25 StreamingContext和JobScheduler启动源码详解 今天主要理一下StreamingContext的启动过程，其中最为重要的就是JobScheduler的启动。 StreamingContext启动 我们首先看下start方法的上半 阅读全文