2018年7月7日
spark1.3.x与spark2.x启动executor不同的cpu core分配方式
***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的 Read More
posted @ 2018-07-07 12:07 soft.push("zzq") Views(1099) Comments(0) Diggs(0)