一首简单的歌

摘要： 一、首先使用sparksql读取需要合并的数据。当然有两种情况， 一种是读取全部数据，即需要合并所有小文件。 第二种是合并部分数据，比如只查询某一天的数据，只合并某一个天分区下的小文件。 val df: DataFrame = spark.sql("sql") 二、将读取到的数据写入临时文件中。此处 阅读全文