2022年3月16日
DStream、RDD、DataFrame 的相互转换、spark 比 MapReduce 快的原因
摘要： DStream、RDD、DataFrame 的相互转换、spark 比 MapReduce 快的原因 目录 DStream、RDD、DataFrame 的相互转换 spark 比 MapReduce 快的原因 1、当对同一个rdd多次使用的时候可以将这个rdd缓存起来 2、spark -- 粗粒度的 阅读全文
posted @ 2022-03-16 19:51 阿伟宝座 阅读(500) 评论(0) 推荐(0)
了解：有状态算子、滑动窗口和滚动窗口
摘要： 了解：有状态算子、滑动窗口和滚动窗口 目录 有状态算子 滑动窗口和滚动窗口 滑动窗口的使用及优化(包含滚动窗口) 有状态算子 之前我们在运行 Spark Streaming 的时候发现微批处理之中，每一个批次都是相对独立的 如何让其能够产生累加的效果呢？ package com.shujia.str 阅读全文
posted @ 2022-03-16 19:07 阿伟宝座 阅读(501) 评论(0) 推荐(0)