2019年6月25日
spark streaming 接收kafka消息之三 -- kafka broker 如何处理 fetch 请求
摘要： 首先看一下 KafkaServer 这个类的声明： 在这个类的startup中，有一个线程池被实例化了： KafkaRequestHandlerPool 的源代码如下： 再看一下 KafkaRequestHandler 的源码： 重点看一下， kafka.server.KafkaApis#handl 阅读全文
posted @ 2019-06-25 23:50 JohnnyBai 阅读(1563) 评论(0) 推荐(0) 编辑
spark streaming 接收kafka消息之二 -- 运行在driver端的receiver
摘要： 先从源码来深入理解一下 DirectKafkaInputDStream 的将 kafka 作为输入流时，如何确保 exactly-once 语义。 对应的源码如下： DirectKafkaInputDStream 的类声明如下： 简言之，Kafka RDD 的一个流，每一个指定的topic 的每一个 阅读全文
posted @ 2019-06-25 23:23 JohnnyBai 阅读(811) 评论(0) 推荐(0) 编辑
spark streaming 接收kafka消息之一 -- 两种接收方式
摘要： 源码分析的spark版本是1.6。 首先，先看一下 org.apache.spark.streaming.dstream.InputDStream 的 类说明： 翻译如下： 也就是说 spark 1.6 版本的输入流的抽象父类就是 org.apache.spark.streaming.dstream 阅读全文
posted @ 2019-06-25 23:17 JohnnyBai 阅读(1446) 评论(0) 推荐(0) 编辑