2015年3月5日

spark 系列文章汇总

摘要： 本文将整理汇总涉及spark系列文章。 阅读全文

posted @ 2015-03-05 16:49 Ai_togic 阅读(492) 评论(0) 推荐(0)

spark 内核调度理解

摘要： 上图对于spark运行机制，可以概括为以下几步来理解。1. Create DAG of RDDs to represent computation2. Create logical execution plan for DAG 1). Pipeline as much as possible 2).... 阅读全文

posted @ 2015-03-05 15:41 Ai_togic 阅读(162) 评论(0) 推荐(0)

spark 源码导读2 进一步窥探Master、Worker启动及通信机制

摘要： 上一篇文章spark 源码理解1 从spark启动脚本开始是分析执行start_all.sh时，集群中启动了哪些进程，下面我们再深入一点看看这些进程都是做什么用的，它们之间又是如何通信的？一、Master进程的启动Master进程，它主要负责对Worker、Driver、App等资源的管理并与它们进... 阅读全文

posted @ 2015-03-05 15:33 Ai_togic 阅读(1161) 评论(0) 推荐(0)

导航