摘要：打通实时数据处理 1）.流程图 LoggerGenerator <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7InRleHQtaW5kZW50IjoxLCJhbGlnb 阅读全文

摘要：SparkStreaming 1）.概述：可扩展、高可用、容错性 一站式解决方案 2）.原理 粗粒度：Spark Streaming 接受实时流数据，将数据切分为批次数据，交由Spark Engine处理数据。组RDD，微批处理。 细粒度： 3）.核心 StreamingContext： start 阅读全文

摘要：先来一段到处都有的原理（出处到处都有，就不注明了） Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver: 1、Kafka 阅读全文