s3操作

保存成json格式，并压缩

spark.range(20).repartition(1).write.mode('overwrite').json(path='out/20200715',compression='gzip')

 

posted @ 2020-07-16 15:43  muyue123  阅读(156)  评论(0)  编辑  收藏  举报