05 2017 档案

【Spark2.0源码学习】-8.SparkContext与Application介绍
摘要：在前面的内容，我们针对于RpcEndpoint启动以及RpcEndpoint消息处理机制进行了详细的介绍，在我们的大脑里，基本上可以构建Spark各节点的模样。接下来的章节将会从Spark如何从业务代码分解为Spark的任务，并最终调度这些任务进行详细的介绍。 前面针对于Client启动过程以及Dr 阅读全文
posted @ 2017-05-26 10:39 hframe 阅读(1372) 评论(0) 推荐(0)
【Spark2.0源码学习】-7.Driver与DriverRunner
摘要：承接上一节内容，Client向Master发起RequestSubmitDriver请求，Master将DriverInfo添加待调度列表中（waitingDrivers），下面针对于Driver进一步梳理 一、Master对Driver资源分配 大致流程如下： waitingDrivers与ali 阅读全文
posted @ 2017-05-26 10:34 hframe 阅读(797) 评论(0) 推荐(0)
【Spark2.0源码学习】-6.Client启动
摘要：Client作为Endpoint的具体实例，下面我们介绍一下Client启动以及OnStart指令后的额外工作 一、脚本概览 下面是一个举例： /opt/jdk1.7.0_79/bin/java -cp /opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/ 阅读全文
posted @ 2017-05-24 10:44 hframe 阅读(1237) 评论(0) 推荐(0)
【Spark2.0源码学习】-5.Worker启动
摘要：Worker作为Endpoint的具体实例，下面我们介绍一下Worker启动以及OnStart指令后的额外工作 一、脚本概览 下面是一个举例： /opt/jdk1.7.0_79/bin/java -cp /opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/ 阅读全文
posted @ 2017-05-02 10:41 hframe 阅读(1060) 评论(0) 推荐(0)