随笔分类 -  Spark

Spark1.6 saveAsTable 函数使用 Overwrite存储模式设置分区表的 partition 会造成全表覆盖的问题
摘要：0.说明 在实际使用中有一个需求是通过 Spark 对分区表进行增量分区的覆盖操作，Spark 1.6 的 saveAsTable 函数使用 Overwrite 存储模式设置分区表的 partition 会造成全表覆盖的问题 ，使用Append 存储模式会造成同一分区数据多次写入并不能满足我们的需求 阅读全文
posted @ 2020-11-10 15:03 山间一棵松 阅读(1642) 评论(0) 推荐(0)