2019年3月26日
Spark-Submit 工作流程(SparkContext的初始化)
摘要： 阅读全文
posted @ 2019-03-26 23:25 十七楼的羊 阅读(515) 评论(0) 推荐(0)
spark shuffle调优
摘要： 关于shuffle 参数的说明: 1,参数一般成倍增加或者减少 2,可以再提交任务时,使用 -conf 来进行指定,这样比在代码之中或者spark-defaults.conf之中较好(相当于写死)一:spark.shuffle.file.buffer: 默认为 32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buff... 阅读全文
posted @ 2019-03-26 00:14 十七楼的羊 阅读(406) 评论(0) 推荐(0)