摘要:
spark 使用的架构是无共享的,数据分布在不同节点,每个节点有独立的 CPU、内存,不存在全局的内存使得变量能够共享,驱动程序和任务之间通过消息共享数据 举例来说,如果一个 RDD 操作使用了驱动程序中的变量,spark 会将这个变量的副本和 task 一起发送给 executor 中的执行者,对 阅读全文
posted @ 2019-11-25 15:42
努力的孔子
阅读(1406)
评论(0)
推荐(0)
浙公网安备 33010602011771号