Spark：sc.textFiles() 与 sc.wholeTextFiles() 的区别

摘要： 由于业务需要，需要将大量文件按照目录分类的方式存储在HDFS上，这时从HDFS上读取文件就需要使用 sparkcontext.wholeTextFiles()， 众所周知，sc.textFiles(path) 能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式： 下面是使用 fo 阅读全文
posted @ 2018-05-16 19:31 Ivan_Duan 阅读(6874) 评论(3) 推荐(1)