2021年1月26日
spark读取写入jdbc.,Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.<init>()
摘要： df.write .option("truncate", "true") .option("driver", mysqlDriver) .mode(SaveMode.Overwrite).jdbc(url, table, pro) 需要配置某个jdbc类型驱动driver,option("drive 阅读全文
posted @ 2021-01-26 14:32 夜半钟声到客船 阅读(976) 评论(0) 推荐(0)
spark读取hive表,org.apache.spark.sql.AnalysisException: Unsupported data source type for direct query on files: hive;
摘要： 异常出现:spark读取hive表时,spark.read.table(hive.test) hdp版本的spark默认的catalog是spark，配置项 metastore.catalog.default 默认值是spark，即读取SparkSQL自己的metastore_db。所以才会出现上述 阅读全文
posted @ 2021-01-26 14:24 夜半钟声到客船 阅读(817) 评论(1) 推荐(0)