(5)pyspark----共享变量
摘要:
如果想在节点之间共享一份变量,spark提供了两种特定的共享变量,来完成节点之间的变量共享。 (1)广播变量(2)累加器 二、广播变量 概念: 广播变量允许程序员缓存一个只读的变量在每台机器上,而不是每个任务保存一个拷贝。例如,利用广播变量,我们能够以一种更有效率的方式将一个大数据量输入集合的副本分 阅读全文
posted @ 2018-10-12 14:14 吱吱了了 阅读(5083) 评论(0) 推荐(0)
浙公网安备 33010602011771号