摘要: Spark应用的数据源: 1)Driver驱动中的一个集合(parallelizePairs parallelize) 2)从本地(file:///d:/test)或者网络(file:///hdfs:localhost:7777)存上获取 textFile textWhol... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(318) 评论(0) 推荐(1)
摘要: 1.SparkSQL基础 import java.util.ArrayList;import java.util.List;import java.util.Arrays;import java.util.Collections;import java.io.Serializable... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(1022) 评论(0) 推荐(0)
摘要: 新建scala项目 1 没有原生类型,只有引用类型 2 没有操作符,所有操作都是方法调用 没有返回值的打印是(),java的syso没有返回值的打印会报错。 object Hello { def main(args: Array[String]): Unit = {// va... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(285) 评论(0) 推荐(0)
摘要: 构造器的使用 调用apply方法时.apply可以省略 object Hello{ def main(args:Array[String]){ //println("hello world") val m1 = new Man("Zhangsan") // 会报... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(102) 评论(0) 推荐(0)
摘要: 函数式:实现了某个特质的对象,有22个function 编程语言的范式: 命令式:面向过程、面向对象 函数式:hashkey,scala lambda函数 object ObjectDemo { def main(args: Array[String]): U... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(147) 评论(0) 推荐(0)
摘要: trait trait不想java那样,必须将方法全部实现,使用extends或者with来继承接口 重写方法需要加上override关键字。 object TraitDemo { def main(args: Array[String]): Unit = { val t =... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(106) 评论(0) 推荐(0)
摘要: 隐式转换 //隐式转换调用类中本不存在的方法class SwingType{ def wantLearned(sw : String) = println("兔子已经学会了"+sw)}object swimming{ implicit def learningType(s : ... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(83) 评论(0) 推荐(0)
摘要: 1.sparkSQL import org.apache.spark.sql.catalyst.encoders.ExpressionEncoderimport org.apache.spark.sql.Encoderimport org.apache.spark.sql.Rowim... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(267) 评论(0) 推荐(0)
摘要: 并行流与串行流 并行流就是把一个内容分成多个数据块,并用不同的线程分别处理每个数据块的流。 java 8 中将并行进行了优化,我们可以很容易的对数据进行并行操作。Stream API 可以声明性地通过 parallel()与 sequential()在并行流与顺序流之间进行切换。 ... 阅读全文
posted @ 2017-12-24 00:00 appointint 阅读(178) 评论(0) 推荐(0)
摘要: zhu@ubuntu:~$ dfdf: /mnt/hgfs: 协议错误文件系统 1K-块 已用 可用 已用% 挂载点udev 991052 0 991052 0% /devtmpfs ... 阅读全文
posted @ 2017-12-12 00:00 appointint 阅读(378) 评论(0) 推荐(0)