2017年7月4日
Spark:spark df插入hive表后小文件数量多，如何合并？
摘要： 在做spark开发过程中，时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题。 一般情况下通过hive的参数设置： 一般情况下通过hive的参数设置： 通过df.repartition(xxx).persist()来实现小文件合并 通过df.repartition(xxx).pe 阅读全文
posted @ 2017-07-04 01:04 cctext 阅读(10847) 评论(0) 推荐(0)