摘要：打通实时数据处理 1）.流程图 LoggerGenerator <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7InRleHQtaW5kZW50IjoxLCJhbGlnb 阅读全文

摘要：SparkStreaming 1）.概述：可扩展、高可用、容错性 一站式解决方案 2）.原理 粗粒度：Spark Streaming 接受实时流数据，将数据切分为批次数据，交由Spark Engine处理数据。组RDD，微批处理。 细粒度： 3）.核心 StreamingContext： start 阅读全文

摘要：继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的，于是乎，借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下，暂时运行起来是没有问题的。 直接上代码（代码比较粗糙，但是思路应该还算清晰）： 相比较上次的坑倒是没有很 阅读全文

摘要：先来一段到处都有的原理（出处到处都有，就不注明了） Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver: 1、Kafka 阅读全文