2020年3月15日

spark累加器

摘要： 出现的原因： 因为在spark中每一个task都会分到不同的节点去计算运行，如果需要将多个节点的数据累加到同一个变量中，则使用累加器 数字累加器 import org.apache.spark.{SparkConf, SparkContext} /** * @Author: 唐松怀 * @Date: 阅读全文

posted @ 2020-03-15 16:56 床上小老虎 阅读(251) 评论(0) 推荐(0)

导航