2019年2月15日
sparksql parquet 分区推断Partition Discovery
摘要： 网上找的大部分资料都很旧,最后翻了下文档只找到了说明 大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下 java (注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径) scala scala的版本用的本地路径,测试发现 阅读全文
posted @ 2019-02-15 20:08 tele 阅读(1094) 评论(0) 推荐(0) 编辑