摘要:
在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重 阅读全文
posted @ 2016-10-20 14:52
miss_UU
阅读(3250)
评论(0)
推荐(0)
浙公网安备 33010602011771号