摘要：1.Spark方式 从老集群写到新集群 spark.table("ods.test").write.mode("overwrite").save("hdfs://192.20.10.10/tmp/tabledata/ods_test") 从新集群生成hive表： spark.read.parquet 阅读全文

摘要：使用以下方式写入表时，如果表不存在，但是表的hdfs目录下存在文件时会报错 df.write.mode("overwrite").partitionBy("pk_hour").saveAsTable("dw.test") 可以在Spark的参数中添加下面配置，以下仅仅是Spark2中生效： spar 阅读全文