2019年6月24日
spark sql插入表时的文件个数研究
摘要： spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录，比如2 将数据写到临时目录； .hive 阅读全文
posted @ 2019-06-24 14:30 大葱拌豆腐 阅读(2024) 评论(0) 推荐(0)