摘要: 在SparkConf上设置的属性具有最高的优先级,其次是传递给spark-submit或者spark-shell的属性值,最后是spark-defaults.conf文件中的属性值 阅读全文
posted @ 2021-05-06 17:25 菜霸 阅读(569) 评论(0) 推荐(0)
摘要: 有时候第一次执行 spark submit --master local[*] 单机模式的时候,可以对linux本地路径进行输出。但是有时候提交到yarn的时候,是自动加上hdfs的路径这没问题, 但是接下来在执行 local模式的时候 出现问题了,本地绝对路径也自动加上了hdfs://的前缀。 那 阅读全文
posted @ 2021-05-06 17:24 菜霸 阅读(481) 评论(0) 推荐(0)