2018年4月3日
spark优化设置
-》》》配置参数优化 SparkConf sc = new SparkConf().setAppName("com.sp.test.GroupTop3").setMaster("local") .set("spark.shuffle.consolidateFiles", "true")//优化1：开启shuffleGroup，避免shuffleMapTask创... Read More
posted @ 2018-04-03 12:33 soft.push("zzq") Views(212) Comments(0) Diggs(0)