2022年8月11日
【hdfs小文件问题的出现场景及解决方案】
摘要： 产生场景1 hive中对表执行insert into数据，每次插入数据都会在表目录下形成一个小文件 解决方案： 使用insert overwrite table...(会重写数据，先进行删除后插入) 产生场景2 现象：Flume采集数据时在HDFS上产生大量小文件的问题 flume指定HDFS类型的 阅读全文
posted @ 2022-08-11 14:18 tootooquan 阅读(946) 评论(0) 推荐(0)