07 2017 档案

spark 教程四 spark的 Action操作
摘要：1.collect() 在驱动程序中，以数组的形式，返回数据集的所有元素 在hdfs//datas/motto 文件中存入文本 “家道穷必乘, 比受之以暌, 暌者, 乘也, 乘必有难, 必受之以蹇, 蹇者难也。” 加载到spark 驱动器里 然后collect ，发现返回的是一个数组 2.count 阅读全文
posted @ 2017-07-11 11:11 jialiming 阅读(475) 评论(0) 推荐(0)
spark 教程三 spark Map filter flatMap union distinct intersection操作
摘要：RDD的创建 spark 所有的操作都围绕着弹性分布式数据集（RDD）进行，这是一个有容错机制的并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征 RDD的创建基础RDD 1.并行集合（Parallelized Collections）:接收一个已经存在的S 阅读全文
posted @ 2017-07-08 22:09 jialiming 阅读(770) 评论(0) 推荐(0)
spark 教程二 spark中的一些术语和概念
摘要：1.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor 2.Driver Program:运行application的main()函数并自动创建SparkContext。通常SparkContext 代表driver progra 阅读全文
posted @ 2017-07-07 16:45 jialiming 阅读(1609) 评论(0) 推荐(0)
spark 教程一 RDD和核心概念
摘要：1.RDD 的介绍 RDD 是spark的核心概念，可以将RDD是做数据库中的一张表，RDD可以保存任何类型的数据，可以用API来处理RDD及RDD中的数据，类似于Mapreduce， RDD 也有分区的概念。RDD是不可变的可以变换（Transformation）操作RDD，但是这个变换返回的是一 阅读全文
posted @ 2017-07-07 14:17 jialiming 阅读(307) 评论(0) 推荐(0)
scala 高级十八 scala隐式方法，隐式参数的实现和使用
摘要：摘要： 通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。 使用方式： 1.将方法或变量标记为implicit 2.将方法的参数列表标记为implicit 3.将类标记为impli 阅读全文
posted @ 2017-07-06 10:54 jialiming 阅读(1111) 评论(0) 推荐(0)
scala 高级十七 scala 泛型的定义和泛型上下文
摘要：1.泛型的定义和类型的自动推断 定义一个A接收一个T 类型 如果输入 String类型的参数，或者Int 类型的参数程序会自动推断类型 2.泛型和泛型函数 3.泛型的上下文 阅读全文
posted @ 2017-07-05 17:11 jialiming 阅读(1426) 评论(0) 推荐(0)
scala 高级十六 scala 集合和集合的高级特性 map flatten fllatmap zip reduce zip 等操作
摘要：1. scala 的列表List 和集Set 的操作 2. 集合的函数组合子（Functional Combinators） map map对列表中的每个元素应用一个函数，返回应用后的元素所组成的列表。 foreach foreach很像map，但没有返回值。foreach仅用于有副作用[side- 阅读全文
posted @ 2017-07-05 15:38 jialiming 阅读(1259) 评论(0) 推荐(0)
scala 高级十五 scala scala 高阶函数，函数嵌套，偏函数，函数的柯理化
摘要：1.高阶函数主要有两种：一种是将一个函数当做另外一个函数的参数（即函数参数）；另外一种是返回值是函数的函数。 2.值函数，我们可以用 var或者val 定义一个参数去接收一个函数叫做值函数 ,格式为 var fun_name=funName _ 上图我们定了一个 add函数有两个参数，返回一个int 阅读全文
posted @ 2017-07-04 18:07 jialiming 阅读(716) 评论(0) 推荐(0)
scala 基础十四 scala case class 的使用
摘要：1.当一个类被声明为case class时，编译器会自动进行如下操作： .构造器中参数如果没有被声明为var，则默认为val类型； .自动创建伴生对象，同时在伴生对象中实现apply方法，这样在使用时就不用显式地使用new对象； .伴生对象中同样可以实现unapply()，从而可以将case cla 阅读全文
posted @ 2017-07-04 14:20 jialiming 阅读(3679) 评论(0) 推荐(0)
scala 基础十三 scala 模式匹配 Match case 的使用
摘要：1.scala中的match语句用来在一个列表中选择某一个分支来执行分支的语句块，类似于其他语言中的swtich..case语句 2.match case 中的控制语句 3.match 类型判断 阅读全文
posted @ 2017-07-04 11:23 jialiming 阅读(2702) 评论(0) 推荐(0)
scala 基础十二 scala apply的使用，工厂方法和单例模式的实现
摘要：1. apply 可以用来实现类似于静态的初始化类的实例，请看下面实例 2.用apply实现工厂方法， 用apply对象静态的去实现 其他的类。不明白的请看示列 3.用apply实现单例模式，下面我们来做一个测试。 分别用 c 和 c1引用伴生对象C 这样我们获取的其实是两个对象，每次应用C 都会实 阅读全文
posted @ 2017-07-04 10:24 jialiming 阅读(1033) 评论(0) 推荐(0)
scala 基础十一 scala 中的trait特质
摘要：1.Scala类型系统的基础部分是与Java非常相像的。Scala与Java一样有单一的根类，Java通过接口来实现多重继承，而Scala则通过特征(trait)来实现（Scala的特征可以包含实现代码，这当然是与Java接口不同的。不过由于特征自己具有类型的功能，所以对于没有包含实现代码的特征，可 阅读全文
posted @ 2017-07-03 17:55 jialiming 阅读(294) 评论(0) 推荐(0)
scala 基础十 scala 抽象类的定义和使用
摘要：1.scala 抽象类的定义和使用 阅读全文
posted @ 2017-07-03 16:22 jialiming 阅读(840) 评论(0) 推荐(0)
scala 基础九 scala 类的扩展和继承extends override
摘要：1.scala 类的继承 2.方法的重写和参数的重写 override 阅读全文
posted @ 2017-07-03 14:52 jialiming 阅读(598) 评论(0) 推荐(0)
scala 基础八 scala 类的定义及构造器
摘要：1.scala 中无构造方法的普通类定义 2.scala 类中的getter,setter 3.scala中带参的构造函数 4.scala 构造函数中不带var 或者val 的参数定义 5.扩展构造器 阅读全文
posted @ 2017-07-03 13:30 jialiming 阅读(802) 评论(0) 推荐(0)