2024年1月30日
spark三大数据结构之累加器和广播变量
摘要： 累加器： 定义： 累加器是一种分布式共享的只写变量，用于在Spark任务之间进行累加操作。由于任务在Executor端执行，不能直接使用for循环进行累加。 使用场景： 在进行累加计算时，为了避免大量的数据传输和重复占用内存，需要使用累加器，即Accumulator（缩写为ACC）。 累加器的作用： 阅读全文
posted @ 2024-01-30 17:42 突破铁皮 阅读(8) 评论(0) 推荐(0) 编辑