Marshall

摘要：Scala 初学指南 本书是 The Neophyte’s Guide to Scala 的中文翻译，由一系列有关 Scala 的文章汇编而成，值得一看。Scala Tutorials 一系列 Scala 文章的汇编。Scala Collections Tips and Tricks Scala 集... 阅读全文

摘要：谈起spark，我们首先想到的是其运算速度的提升上，另外是其支持批处理、交互式、迭代和流计算等，其实spark还有一个很大的优势是其源码的数量上，非常精简，这对于我们阅读源码，在心理上克服了一个很大的障碍。为什么会这样？ 一方面是spark采用了高效（主要从代码量上说）的scala语言编写，另一... 阅读全文

摘要：2014年，对于spark来说，是非常重要的一年，先是跻身Apache顶级项目（TLP），成为ASF最活跃的项目之一，得到了业内广泛的支持——2014年12月发布的Spark 1.2版本包含了来自172位Contributor贡献的1000多个commits。正是在这一版中，GraphX结束al... 阅读全文

摘要：前面文章spark 源码导读1 从spark启动脚本开始详述了spark启动脚本的功能，下面用一张图来说明这些脚本的调用关系。从此图可以清楚的看到，最终是通过向spark-class 传入参数Master, Worker, SparkSubmit来调用java命令启动进程。下面代码查找java程序 ... 阅读全文

摘要：介绍模式匹配的文章已经很多了，这里对模式匹配做下归类，以便在日常开发或读别人代码时更容易理解。说明一下本文中的代码全引自Apachespark源码。一、通配模式通配模式（_）匹配任意对象，被用作默认的”全匹配“的备选项，如：/** Returns an `akka.tcp://...` URL fo... 阅读全文

摘要：scala中做模式匹配时，会用到case class （样本类） 和 extractor （抽取器），这种class 前面加一个case后，与普通的class有什么区别呢？下面我们来一探究竟。先写个普通的class Person, 为了更好的说明问题，我们尽量简化这个Person。scala> cl... 阅读全文

摘要：上图对于spark运行机制，可以概括为以下几步来理解。1. Create DAG of RDDs to represent computation2. Create logical execution plan for DAG 1). Pipeline as much as possible 2).... 阅读全文

摘要：上一篇文章spark 源码理解1 从spark启动脚本开始是分析执行start_all.sh时，集群中启动了哪些进程，下面我们再深入一点看看这些进程都是做什么用的，它们之间又是如何通信的？一、Master进程的启动Master进程，它主要负责对Worker、Driver、App等资源的管理并与它们进... 阅读全文

摘要：主要从spark启动脚本开始讲述集群上的Master、Worker进程是如何被启动的。 阅读全文