摘要： 1、agg(expers:column*) 返回dataframe类型 ，同数学计算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), avg("salary")) 2、 agg(exprs: Map[String, String]) 返回dataframe类型 ，同数学计算求值 map类型的 df.agg(Map... 阅读全文

摘要： 前言 本文主要给出Spark创建空的DataFrame的代码示例，这里讲的空的DataFrame主要指有列名（可以自己随意指定），但是没有行的DataFrame，因为自己在开发过程中有这个需求，之前并不知道怎么创建，就查了一下，发现资料并不多，不知道因为太简单还是用的人少，至于具体什么需求就不阐述了 阅读全文

摘要： Java程序经常也会遇到进程挂掉的情况，一些状态没有正确的保存下来，这时候就需要在JVM关掉的时候执行一些清理现场的代码。 JAVA中的ShutdownHook提供了比较好的方案。 JDK提供了Java.Runtime.addShutdownHook(Thread hook)方法，可以注册一个JVM 阅读全文

摘要： // scalastyle:off println package org.apache.spark.examples import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[Str... 阅读全文

摘要： () => Unit > 是一个函数；=> Unit --> 是一个执行结果为Unit的表达式 code: => Unit是 by name 传递参数。参数是一个返回值为Unit的代码块。在传递的时候，参数没有被调用。比如： def test(code : => Unit){ println("st 阅读全文

摘要： people.txt文本如下 阅读全文

摘要： 将函数映射到集合 化简、折叠和扫描 拉链操作 迭代器 （相对于集合而言是一个“懒”的替代品，只有在需要时才去取元素，如果不需要更多元素，不会付出计算剩余元素的代价） 流（stream） 懒视图（应用于集合） 与Java集合的互操作 线程安全的集合 并行集合 阅读全文

摘要： Scala集合的主要特质 Iterator，用来访问集合中所有元素 Seq是一个有先后次序的值得序列，比如数组或列表。IndexSeq允许我们通过整型的下标快速访问任意元素，如ArrayBuffer是带下标的。Set是一组没有先后次序的值，在SortedSet中，元素以某种排过序的顺序被访问。Map 阅读全文

摘要： 和java或c++一样，scala也可以有任意多的构造器。不过，scala类有一个构造器比其它所有构造器都更为重要，它就是主构造器。除了主构造器之外，类还可以有任意多的辅助构造器。 有两点需要注意： 辅助构造器的名称为this。(在java或c++中，构造器的名称和类名相同--当你修改类名时就不那么 阅读全文

摘要： 在Scala中你可以使用类型参数来实现类和函数，这样的类和函数可以用于多种类型。比如Array[T] 你可以存放任意指定类型T的数据. 类、特质、函数都可以有类型参数；将类型参数放在名字后面用方括号括起来 四 边界之视图边界（View Bounds）刚才我们看过上边界一个例子，class Pair[ 阅读全文