Loading

Accumulator(累加器)

累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量,在Executor 端的每个 Task 都会得到这个变量的一份新的副本,每个 task 更新这些副本的值后,传回 Driver 端进行 merge。

从Accumulator中,获取数据,插入数据库的时候,是在有某一个action操作以后再进行,没有action,整个程序不会运行

image

posted @ 2021-12-29 16:30  Zhbeii  阅读(302)  评论(0)    收藏  举报