202107302320 - spark将文件夹下所有文件读取到一个RDD
# 路径 + 通配符* 只读一层子文件夹
val lines: RDD[String] = sc.textFile("file:///E:/tmp/data/*")
# 直接路径 报错, 无法识别子文件夹
val lines: RDD[String] = sc.textFile("file:///E:/tmp/data/")
Exception in thread "main" java.io.IOException: Not a file: file:/E:/tmp/data/d1

浙公网安备 33010602011771号