2019年8月9日
51、Spark Streaming之输入DStream和Receiver详解
摘要： 输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数据，并将其存储在Spark的内存中，以供后续处理。Spark... 阅读全文
posted @ 2019-08-09 15:51 米兰的小铁將 阅读(416) 评论(0) 推荐(0)
50、Spark Streaming实时wordcount程序开发
摘要： 一、java版本package cn.spark.study.streaming;import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.function.FlatMapFunction;import org.apache.spark.api.java.function.F... 阅读全文
posted @ 2019-08-09 15:39 米兰的小铁將 阅读(341) 评论(0) 推荐(0)