2015年8月1日
在YARN集群中启用Spark ExternalShuffleService服务
摘要： Spark在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据并未其他Executor提供shuffle数据。当Executor进程任务负载过重而宕掉时就会影响到任务运行。因此，Spark提供了一个叫做ExternalShuffleService的实 阅读全文
posted @ 2015-08-01 20:35 孟尧 阅读(806) 评论(0) 推荐(0)