随笔分类 -  Spark

Spark技术堆栈
Scala继承
摘要：override重写 为什么要用override关键字？因为这样更清楚，不容易出错，比如打错字了，就没覆盖成功，但是不会报错 override可以覆盖feild和method isInstanceOf和asInstanceOf:多态判断 在多态的转换中，会把子类对象赋值给父类变量，如果遇到需要把本来 阅读全文
posted @ 2017-08-31 16:28 岑忠满 阅读(183) 评论(0) 推荐(0)
Scala面向对象
摘要：类 定义类 创建对象 调用方法 getter和setter方法 定义 不带private的var field Scala生成面向JVM的类时，会定义成private的字段，并提供Public的getter和setter （也就是说，你在用对象调用这个值的时候，底层转换为使用pubic的getter/ 阅读全文
posted @ 2017-08-31 13:26 岑忠满 阅读(253) 评论(0) 推荐(0)
Scala Map
摘要："Python中的Dict" 字典是一组键(key)和值(value)的组合,通过键(key)进行查找, 没有顺序 , 使用大括号” {} ” !key不允许重复 !key不可变, value可变 Scala中的Map 无序(有序看第7点)，有可变和不可变两种， 1.值不可变的Map(不常用) 2. 阅读全文
posted @ 2017-08-30 17:11 岑忠满 阅读(2403) 评论(0) 推荐(0)
Scala Tuple
摘要："Python中的Tuple" 元组将多样的对象集合到一起, 元素不能修改 ,通过索引进行查找, 使用括号” () ” 允许重复 Scala中的Tuple 概念跟Python是完全相同的 定义 tuple其实Map的元素类型，就是一个存储单元 取值 zip操作（拉链操作） val names = A 阅读全文
posted @ 2017-08-30 17:11 岑忠满 阅读(524) 评论(0) 推荐(0)
Scala数组
摘要：在scala中的数组和JAVA中的数组都是定长的，一旦初始化就不可改变（Scala数据底层是直接变成JAVA的数组） Array 定义即初始化，并分配空间 ArrayBuffer(JAVA无):由ArrayList实现？ 类似于JAVA中的ArrayList(ArrayList数组实现，每次中间插入 阅读全文
posted @ 2017-08-30 15:32 岑忠满 阅读(235) 评论(0) 推荐(0)
Scala函数
摘要：定义普通函数( = )(后面有不需要等号的) 参数类型必须声明，函数返回类型无需声明(只要不存在递归语句，scala会自动推导出返回值类型) 允许定义默认参数，有默认值的可不传，跟Python一个德行，包括参数调用 递归函数 必须声明返回类型，因为不知道你递归到什么时候 过程(不需要返回值的函数) 阅读全文
posted @ 2017-08-30 10:50 岑忠满 阅读(228) 评论(0) 推荐(0)
Scala入门
摘要：Scala是基于JVM的一门编程语言，使用字节码文件在JVM上运行，可以与JAVA代码无缝调用。 Scala是Spark的编程语言，看源码和编写Spark处理程序会用到。 安装 "使用IntelliJ" "使用SBT(Simple Build Tool)" "使用命令行安装" "使用sublime" 阅读全文
posted @ 2017-08-29 16:52 岑忠满 阅读(412) 评论(0) 推荐(0)
Spark是什么
摘要："官方直达电梯" Spark一种 基于内存 的 通用 的 实时 大数据计算框架(作为MapReduce的另一个更优秀的可选的方案) 通用：Spark Core 用于离线计算，Spark SQL 用于交互式查询，Spark Streaming 用于实时流式计算，Spark Mlib 用于机器学习，Sp 阅读全文
posted @ 2017-08-29 14:04 岑忠满 阅读(486) 评论(0) 推荐(0)