2023年10月24日
pyspark 广播变量和累加器
摘要： 广播变量broadcast 广播变量允许程序缓存一个只读变量在集群的每台机器上，而不是每个任务保存一个拷贝。借助广播变量，可以用一种更高效的方法来共享一些数据，比如一个全局配置文件。 from pyspark import SparkConf,SparkContext conf = SparkCon 阅读全文
posted @ 2023-10-24 15:38 whiteY 阅读(141) 评论(0) 推荐(0)