随笔分类 -  spark

spark学习之路，把官网的英文文档按照我的理解和步骤进行翻译成中文，目的是鞭策和激励自己，直白点就是我在学习spark，还有一点成果:博客。
Spark Sql之pathGlobFilter 和recursiveFileLookup 选项关于分区的一点猜想和验证
摘要：起因： 学习Spark Sql时，在官方文档看到两个有意思的选项pathGlobFilter 和recursiveFileLookup 。 简单地说，两个都是只对基础文件格式生效，eg: parquet,orc,avro,json.csv,text; pathGlobFilter 是根据正则筛选要读 阅读全文

posted @ 2021-06-24 11:19 神奇的光头强 阅读(596) 评论(0) 推荐(0)

导航