2019年7月9日
9、共享变量(Broadcast Variable和Accumulator)
摘要： 一、共享变量 1、共享变量工作原理 Spark一个非常重要的特性就是共享变量。 默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想 要共享某个变量，那么这种方式是做不到的。 Spark为此 阅读全文
posted @ 2019-07-09 10:59 米兰的小铁將 阅读(1139) 评论(0) 推荐(0)