摘要: 无状态转化操作就是把简单的 RDD 转化操作应用到每个批次上,也就是转化 DStream 中的每一个 RDD。部分无状态转化操作列在了下表中。注意,针对键值对的 DStream 转化操作(比如reduceByKey())要添加 import StreamingContext._才能在 Scala 中 阅读全文
posted @ 2024-01-23 18:26 会飞的猪仔 阅读(1) 评论(0) 推荐(0) 编辑
摘要: RDD是怎么生成的? RDD依靠什么生成?根据DStream来的 RDD生成的依据是什么? Spark Streaming中RDD的执行是否和Spark Core中的RDD执行有所不同? 运行之后我们对RDD怎么处理? ForEachDStream不一定会触发Job的执行,但是它一定会触发job的产 阅读全文
posted @ 2024-01-23 17:20 会飞的猪仔 阅读(8) 评论(0) 推荐(0) 编辑
摘要: /** * Return a new DStream by applying 'join' between RDDs of `this` DStream and `other` DStream. * The supplied org.apache.spark.Partitioner is used 阅读全文
posted @ 2024-01-23 16:45 会飞的猪仔 阅读(7) 评论(0) 推荐(0) 编辑
摘要: /** * Return a new DStream in which each RDD is generated by applying a function * on each RDD of 'this' DStream. 在调用的stream的RDD中应用传入的函数,返回一个新的DStream 阅读全文
posted @ 2024-01-23 15:45 会飞的猪仔 阅读(1) 评论(0) 推荐(0) 编辑