2019年6月30日
spark优化——依赖包传入HDFS_spark.yarn.jar和spark.yarn.archive的使用
摘要： 一、参数说明 启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下。 二、spark.yarn.archive使用 1.在本 阅读全文
posted @ 2019-06-30 17:01 吊车尾88 阅读(7698) 评论(0) 推荐(0)