哎哟慰

摘要： Spark Streaming揭秘 Day35 Spark core思考 Spark上的子框架，都是后来加上去的。都是在Spark core上完成的，所有框架一切的实现最终还是由Spark core来做的。抛开任何具体的东西，现在考虑下Spark core是个什么东西。 解析rdd 程序就是数据+代 阅读全文

摘要： Spark Streaming揭秘 Day34 解析UI监听模式 今天分享下SparkStreaming中的UI部分，和所有的UI系统一样，SparkStreaming中的UI系统使用的是监听器模式。监听器模式是指，首先注册事件源，当事件或者数据发生改变时，监听器就会接收到这个改变，并对这种改变做出 阅读全文

摘要： Spark Streaming揭秘 Day33 checkpoint的使用 今天谈下sparkstreaming中，另外一个至关重要的内容Checkpoint。 首先，我们会看下checkpoint的使用。另外，会看下在应用程序重新启动时，是如何处理checkpoint的。 Checkpoint保存 阅读全文

摘要： Spark Streaming揭秘 Day32 WAL框架及实现 今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志)。 设计要点 从本质点说，WAL框架是一个存储系统，可以简单的认为是一个文件系统，其作用类似于BlockManager， 我们首先看一下官方的说明： 这 阅读全文

摘要： Kakfa揭秘 Day9 KafkaReceiver源码解析 上一节课中，谈了Direct的方式来访问kafka的Broker，今天主要来谈一下，另一种方式，也就是KafkaReceiver。 初始化 Direct和普通Receiver方式，最大的区别，是元数据的管理方式。 Direct方式是没有通 阅读全文

摘要： Kakfa揭秘 Day8 DirectKafkaStream代码解析 今天让我们进入SparkStreaming，看一下其中重要的Kafka模块DirectStream的具体实现。 构造Stream 首先，从工厂方法开始，在工厂方法createDirectStream中，有两类关键内容： 1. fr 阅读全文

摘要： Kakfa揭秘 Day7 Producer源码解密 今天我们来研究下Producer。Producer的主要作用就是向Kafka的brokers发送数据。从思考角度，为了简化思考过程，可以简化为一个单机版本的消息队列，只是这个消息队列在远程。 Producer.java 让我们从官方的Exampl 阅读全文

摘要： Kakfa揭秘 Day6 Consumer源码解密 今天主要分析下Consumer是怎么来工作的，今天主要是例子出发，对整个过程进行刨析。 简单例子 Example中Consumer.java是一个简单的例子： 首先，是有一些重要的参数： MAX_POLL_RECORDS_CONFIG 表示一次获取 阅读全文

摘要： Kakfa揭秘 Day5 SocketServer下的NIO 整个Kafka底层都是基于NIO来进行开发的，这种消息机制可以达到弱耦合的效果，同时在磁盘有很多数据时，会非常的高效，在gc方面有非常大的优势，而socketServer就是其中的代表。 今天会分析下socketServer，分析下其中三 阅读全文

摘要： Kakfa揭秘 Day4 Kafka中分区深度解析 今天主要谈Kafka中的分区数和consumer中的并行度。从使用Kafka的角度说，这些都是至关重要的。 分区原则 Partition代表一个topic的分区，可以看到在构造时注册了zookeeper，也就是说kafka在分区时，是被zk管理的。 阅读全文