jialiming

摘要： 1.collect() 在驱动程序中，以数组的形式，返回数据集的所有元素 在hdfs//datas/motto 文件中存入文本 “家道穷必乘, 比受之以暌, 暌者, 乘也, 乘必有难, 必受之以蹇, 蹇者难也。” 加载到spark 驱动器里 然后collect ，发现返回的是一个数组 2.count 阅读全文

摘要： RDD的创建 spark 所有的操作都围绕着弹性分布式数据集（RDD）进行，这是一个有容错机制的并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征 RDD的创建基础RDD 1.并行集合（Parallelized Collections）:接收一个已经存在的S 阅读全文

摘要： 1.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor 2.Driver Program:运行application的main()函数并自动创建SparkContext。通常SparkContext 代表driver progra 阅读全文

摘要： 1.RDD 的介绍 RDD 是spark的核心概念，可以将RDD是做数据库中的一张表，RDD可以保存任何类型的数据，可以用API来处理RDD及RDD中的数据，类似于Mapreduce， RDD 也有分区的概念。RDD是不可变的可以变换（Transformation）操作RDD，但是这个变换返回的是一 阅读全文

摘要： 摘要： 通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。 使用方式： 1.将方法或变量标记为implicit 2.将方法的参数列表标记为implicit 3.将类标记为impli 阅读全文

摘要： 1.泛型的定义和类型的自动推断 定义一个A接收一个T 类型 如果输入 String类型的参数，或者Int 类型的参数程序会自动推断类型 2.泛型和泛型函数 3.泛型的上下文 阅读全文

摘要： 1. scala 的列表List 和集Set 的操作 2. 集合的函数组合子（Functional Combinators） map map对列表中的每个元素应用一个函数，返回应用后的元素所组成的列表。 foreach foreach很像map，但没有返回值。foreach仅用于有副作用[side- 阅读全文

摘要： 1.高阶函数主要有两种：一种是将一个函数当做另外一个函数的参数（即函数参数）；另外一种是返回值是函数的函数。 2.值函数，我们可以用 var或者val 定义一个参数去接收一个函数叫做值函数 ,格式为 var fun_name=funName _ 上图我们定了一个 add函数有两个参数，返回一个int 阅读全文

摘要： 1.当一个类被声明为case class时，编译器会自动进行如下操作： .构造器中参数如果没有被声明为var，则默认为val类型； .自动创建伴生对象，同时在伴生对象中实现apply方法，这样在使用时就不用显式地使用new对象； .伴生对象中同样可以实现unapply()，从而可以将case cla 阅读全文

摘要： 1.scala中的match语句用来在一个列表中选择某一个分支来执行分支的语句块，类似于其他语言中的swtich..case语句 2.match case 中的控制语句 3.match 类型判断 阅读全文