Spark 广播变量和累加器
摘要:
Spark 的一个核心功能是创建两种特殊类型的变量:广播变量和累加器 广播变量(groadcast varible)为只读变量,它有运行SparkContext的驱动程序创建后发送给参与计算的节点。对那些需要让工作节点高效地访问相同数据的应用场景,比如机器学习。我们可以在SparkContext上调 阅读全文
posted @ 2017-05-03 17:24 redStart 阅读(2604) 评论(0) 推荐(0)
浙公网安备 33010602011771号