202107302320 - spark将文件夹下所有文件读取到一个RDD

# 路径 + 通配符*  只读一层子文件夹
val lines: RDD[String] = sc.textFile("file:///E:/tmp/data/*")  

# 直接路径 报错, 无法识别子文件夹
val lines: RDD[String] = sc.textFile("file:///E:/tmp/data/")  
Exception in thread "main" java.io.IOException: Not a file: file:/E:/tmp/data/d1


posted @ 2025-03-19 22:08  钱塘江畔  阅读(14)  评论(0)    收藏  举报