摘要: 累加器(accumulator)是Spark中提供的一种分布式的变量机制,其原理类似于mapreduce,即分布式的改变,然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 Spark内置的提供了Long和Double类型的累加器。下面是一个简单的使用示例,在这个例子中 阅读全文
posted @ 2019-04-22 21:12 wss96 阅读(1537) 评论(0) 推荐(2) 编辑