sparkContext的addFile和addPyFile
摘要:
addFile(path, recursive=False) 把文件分发到集群中每个worker节点,然后worker会把文件存放在临时目录下,spark的driver和executor可以通过pyspark.SparkFiles.get()方法来获取文件的路径,从而能够保证driver和每个wor 阅读全文
posted @ 2021-02-02 19:22 ExplorerMan 阅读(1288) 评论(0) 推荐(0)
浙公网安备 33010602011771号