摘要：一、首先使用sparksql读取需要合并的数据。当然有两种情况， 一种是读取全部数据，即需要合并所有小文件。 第二种是合并部分数据，比如只查询某一天的数据，只合并某一个天分区下的小文件。 val df: DataFrame = spark.sql("sql") 二、将读取到的数据写入临时文件中。此处 阅读全文

摘要：我们在使用mysql进行插入操作时，可以使用如下语法： INSERT INTO 表名 （列1,列2,列3...）VALUES(值1,值2,值3...) 列的数量是可变的，是可以指定的。 但使用spqrksql进行插入操作时，不能指定任意数量的列，必须插入包含全部列的记录，sparksql官网中（ht 阅读全文