Coder's Timeline

摘要： 原文链接调度相关的参数设置，大多数内容都很直白，其实无须过多的额外解释，不过基于这些参数的常用性（大概会是你针对自己的集群第一步就会配置的参数），这里多少就其内部机制做一些解释。spark.cores.max一个集群最重要的参数之一，当然就是CPU计算资源的数量。spark.cores.max 这个... 阅读全文

摘要： sparkEnv(D:\Spark\SourceCode\spark\core\src\main\scala\org\apache\spark\SparkEnv.scala)Holds all the runtime environment objects for a running Spark i... 阅读全文

摘要： 原文链接概要Spark 1.1中对spark core的一个重大改进就是引入了sort-based shuffle处理机制，本文就该处理机制的实现进行初步的分析。Sort-based Shuffle之初体验通过一个小的实验来直观的感受一下sort-based shuffle算法会产生哪些中间文件，具... 阅读全文

摘要： 作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,在Spark的官方文档http://spark.apache.... 阅读全文

摘要： 原帖:http://stackoverflow.com/questions/1722137/scala-2-8-collections-design-tutorial　There's a2.8 collection walk-throughby Martin Odersky which should... 阅读全文

摘要： 原文链接Scala 作为一门函数式编程语言，对习惯了指令式编程语言的同学来说，会不大习惯，这里除了思维方式之外，还有语法层面的，比如underscore（下划线）就会出现在多种场合，令初学者相当疑惑，今天就来总结下 Scala 中下划线的用法。?123456789101112131415161718... 阅读全文

摘要： 我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略，这两种分区策略在很多情况下都适合我们的场景。但是有些情况下，Spark内部不能符合咱们的需求，这时候我们就可以自定义分区策略。为此，Spark提供了相应的接口，我们只需要扩展Partition... 阅读全文

摘要： jbytearray转c++byte数组C代码jbyte*arrayBody=env->GetByteArrayElements(data,0);jsizetheArrayLengthJ=env->GetArrayLength(data);BYTE*starter=(BYTE*)arrayBody;... 阅读全文

摘要： 原文链接ProblemYou want to control the visibility of fields that are used as constructor parameters in a Scala class.SolutionAs shown in the following exa... 阅读全文

摘要： 程序开始可以在某一个object中定义main方法object MyObject{def main(args:Array[String]{Println("Hello world")}}也可以通过对象扩展APP类，将代码放在构造器的方法中 (TheApptrait can be used to qu... 阅读全文