07 2018 档案

spark1.3.x与spark2.x启动executor不同的cpu core分配方式
摘要：***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的 阅读全文
posted @ 2018-07-07 12:07 soft.push("zzq") 阅读(1095) 评论(0) 推荐(0)