Coder's Timeline

摘要： What if we want to execute 2 actions concurrently on different RDD’s, Spark actions are always synchronous. Like if we perform two actions one after o... 阅读全文

摘要： 原文链接The logging model used by Dynamo provides a flexible mechanism for setting up complex application logging rules. With a combination of filters and... 阅读全文

摘要： 1.Log on to the user account that you want to create this task to run for.2.Open the Start Menu, then typetaskschd.mscin the search box and press ente... 阅读全文

摘要： 原地址本系列内容适用范围：* 2015.12.05 update, Spark 1.6 全系列 √ (1.6.0-preview，尚未正式发布)* 2015.11.09 update, Spark 1.5 全系列 √ (1.5.0, 1.5.1, 1.5.2)* 2015.07.15 update,... 阅读全文

摘要： 原文链接/* ------------------------------------------------------------------------- *//* * An implementation of JNI methods in com.vladium.utils.SystemIn... 阅读全文

摘要： 我们知道Spark总是以集群的方式运行的，Standalone的部署方式是集群方式中最为精简的一种（另外的是Mesos和Yarn）。Standalone模式中，资源调度是自己实现的，是MS架构的集群模式，故存在单点故障问题。下面提出几个问题并解决：1、Standalone部署方式下包含哪些节点？由不... 阅读全文

摘要： 原文链接参考,Spark源码分析之-Storage模块对于storage, 为何Spark需要storage模块？为了cache RDDSpark的特点就是可以将RDD cache在memory或disk中，RDD是由partitions组成的，对应于block所以storage模块，就是要实现RD... 阅读全文

摘要： source linkLet's look at two different ways to compute word counts, one usingreduceByKeyand the other usinggroupByKey:val words = Array("one", "two", ... 阅读全文

摘要： 原文链接Scala Option[T] is a container for zero or one element of a given type. An Option[T] can be eitherSome[T]orNoneobject, which represents a missing ... 阅读全文

摘要： 原文链接引言这一小节我们将就之前写的几篇博文，从提交Job，到Stage划分，到任务分发，再到任务的执行，这一完整过程做一系统的回顾。在这一过程中理清思路，明确几篇文章中涉及到的调度关系和逻辑关系。Spark作业提交到执行过程上面这个图摘自张包峰的csdn博客，这个图很清晰的描述了作业提交执行的整个... 阅读全文