随笔分类 -  【大数据 | Spark】

spark
摘要：yarn -cluster(yarnClusterScheduler)模式，Client和Driverr运行在一起(运行在本地)，AM只用来管理资源。如果需要返回数据到client就用YARN client模式。如果想让数据存储到hdfs, 阅读全文
posted @ 2021-01-02 21:36 Simon92 阅读(93) 评论(0) 推荐(0)
启动 ./spark-shell 命令报错
摘要：当使用./spark-shell 命令报错 Caused by: ERROR XJ040: Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive.client.IsolatedClien 阅读全文
posted @ 2020-03-22 22:40 Simon92 阅读(2221) 评论(0) 推荐(0)
Spark笔记
摘要：[root@master bin]# ./spark-shell --master yarn-client 20/03/21 02:48:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your plat 阅读全文
posted @ 2020-03-21 19:19 Simon92 阅读(381) 评论(0) 推荐(0)