2014年10月5日

Spark技术内幕：Master的故障恢复

摘要： Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现 详细阐述了使用ZK实现的Master的HA，那么Master是如何快速故障恢复的呢？处于Standby状态的Master在接收到org.apache.spark.deploy.master... 阅读全文

posted @ 2014-10-05 03:45 wu2198 阅读(340) 评论(0) 推荐(0)

Spark技术内幕：Executor分配详解

摘要： 当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。序列图如下：1. SparkContext创建TaskScheduler和DAG SchedulerSparkCo... 阅读全文

posted @ 2014-10-05 01:02 wu2198 阅读(359) 评论(0) 推荐(0)

导航