随笔分类 -  spark

pyspark操作hive分区表以及.gz.parquet和part-00000文件压缩问题
摘要：@ pyspark 操作hive表 pyspark 操作hive表，hive分区表动态写入；最近发现spark动态写入hive分区，和saveAsTable存表方式相比，文件压缩比大约 4:1。针对该问题整理了 spark 操作hive表的几种方式。 1> saveAsTable写入 saveAsT 阅读全文
posted @ 2021-08-25 10:52 土豆啊你个马铃薯 阅读(895) 评论(0) 推荐(0)