l_time

摘要： Kakfa揭秘 Day6 Consumer源码解密 今天主要分析下Consumer是怎么来工作的，今天主要是例子出发，对整个过程进行刨析。 简单例子 Example中Consumer.java是一个简单的例子： 首先，是有一些重要的参数： MAX_POLL_RECORDS_CONFIG 表示一次获取 阅读全文

摘要： Kakfa揭秘 Day4 Kafka中分区深度解析 今天主要谈Kafka中的分区数和consumer中的并行度。从使用Kafka的角度说，这些都是至关重要的。 分区原则 Partition代表一个topic的分区，可以看到在构造时注册了zookeeper，也就是说kafka在分区时，是被zk管理的。 阅读全文

摘要： Kafka源码概述 今天开始进入Kafka的源码，本次学习基于最新的0.10.0版本进行。由于之前在学习Spark过程中积累了很多的经验和思想，这些在kafka上是通用的。 总体 首先从总体方式进行一下分析，进入最关键的core。 从源码角度看，最关键的是标红的几个模块。 admin是管理模块，主要 阅读全文

摘要： Spark Streaming揭秘 Day33 Kafka内核再揭秘 优秀的框架会把引擎做到极致，Kafka就是这样，让我们再深入一下研究。 设计目标 kafka系统有着比较独特的的设计，包括5点： kafka第一设计原则是速度，不是个考虑功能的消息组件，主要考虑的是消息的传递速度，为了速度可以舍弃 阅读全文

摘要： Spark Streaming揭秘 Day32 Kafka原理内幕 今天开始，会有几天的时间，和大家研究下Kafka。在大数据处理体系中，kafka的重要性不亚于SparkStreaming。可以认为sparkstreaming掌控处理，而kafka掌控流程控制。 让我们来了解下sparkstrea 阅读全文

摘要： 集群模式下SparkStreaming日志分析（续） 今天延续昨天的内容，主要对为什么一个处理会分解成多个Job执行进行解析。 让我们跟踪下Job调用过程。 从框架代码开始 我们从生成Job开始，generateJobs方法产生了Job，之后，提交了一个JobSet来进行处理。 JobSet会根据输 阅读全文

摘要： Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察、研究和透彻的刨析SparkStreaming的日志和web监控台。 Day28已经分析过local模式下的日志，集群模式会比较类似，这次主要是对集群模式在的web监控台，进行统一 阅读全文

摘要： Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中，Spark Streaming获得了比较全面的升级，称为Structured Streaming，和之前的很不同，功能更强大，效率更高，跟其他的组件整合性也更好 阅读全文

摘要： Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕 今天会逐行解析一下SparkStreaming运行的日志，运行的是WordCountOnline这个Demo。 启动过程 SparkStreaming启动是从如下日志开始： 16/06/ 阅读全文

摘要： Spark Streaming揭秘 Day27 Job产生机制 今天主要讨论一个问题，就是除了DStream action以外，还有什么地方可以产生Job，这会有助于了解Spark Streaming的本质。 我们从一个print方法触发，来看一下常用的action操作方式： 传统流程 一般来说，产 阅读全文