摘要： 一、创建工程 ### 创建一个maven工程： ~~~ Create New Project——>Maven——>Next——>Name：SparkBigData——>Finish——>END ### 安装scala插件；能读写HDFS文件 ### 导入依赖插件，写入pom.xml文件 <?xml 阅读全文

摘要： 一、高可用配置 ### spark standalone集群配置说明 ~~~ Spark Standalone集群是 Master-Slaves架构的集群模式， ~~~ 和大部分的Master-Slaves结构集群一样，存着Master单点故障的问题。 ### 如何解决这个问题，Spark提供了两种 阅读全文

摘要： 一、运行模式(cluster / client) ### 运行模式(cluster / client) ~~~ 最大的区别：Driver运行在哪里；client是缺省的模式，能看见返回结果，适合调试；cluster与此相反； ~~~ Client模式：(缺省)Driver运行在提交任务的Client 阅读全文

摘要： 一、History Server配置 ### History Server ~~~ # 配置服务的history server：spark-defaults.conf\ [root@hadoop02 ~]# vim $SPARK_HOME/conf/spark-defaults.conf # his 阅读全文

摘要： 一、集群模式--Standalone模式 ### 集群模式--Standalone模式 ~~~ 参考：http://spark.apache.org/docs/latest/spark-standalone.html ~~~ 分布式部署才能真正体现分布式计算的价值 ~~~ 与单机运行的模式不同，这里 阅读全文

摘要： 一、伪分布式 ### 伪分布式 ~~~ # 伪分布式模式：在一台机器中模拟集群运行，相关的进程在同一台机器上； ~~~ # 备注：不用启动集群资源管理服务； ~~~ local-cluster[N,cores,memory] ~~~ N模拟集群的 Slave（或worker）节点个数 ~~~ cor 阅读全文

摘要： 一、Spark概述 ### 什么是Spark ~~~ Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎 ~~~ 2009年诞生于美国加州大学伯克利分校AMP 实验室 ~~~ 2010年通过BSD许可协议开源发布 ~~~ 2013年捐赠给Apache软件基金会并切换开源协议到切换许 阅读全文

摘要： 一、Spark官方地址 ### Spark安装 ~~~ 官网地址：http://spark.apache.org/ ~~~ 文档地址：http://spark.apache.org/docs/latest/ ~~~ 下载地址：http://spark.apache.org/downloads.htm 阅读全文

摘要： 一、本地模式 ### 本地模式 ~~~ 本地模式部署在单机，主要用于测试或实验； ~~~ 最简单的运行模式，所有进程都运行在一台机器的 JVM 中； ~~~ 本地模式用单机的多个线程来模拟Spark分布式计算， ~~~ 通常用来验证开发出来的应用程序逻辑上有没有问题； ~~~ 这种模式非常简单，只需 阅读全文

摘要： ### 课程大纲 ~~~ Spark Core -- 离线 ~~~ Spark SQL -- 离线、交互 ~~~ Spark Streaming -- 实时 ~~~ Spark GraphX -- 图处理 ~~~ Spark原理 ~~~ MapReduce、Spark、Flink（实时） => 3代 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： ### 课程总结~~~ 《Scala编程》本课程共十一部分 ### 课程目的：使用Scala进行Spark开发、阅读Spark源码 ~~~ 第一部分 Scala基础 ~~~ 第二部分 控制结构和函数 ~~~ 第三部分 数组和元组 ~~~ 第四部分 类与对象 ~~~ 第五部分 继承 ~~~ 第六部分 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Akka ### Akka ~~~ Akka是Java虚拟机平台上构建高并发、分布式和容错应用的工具包和运行时。 ~~~ Akka用Scala语言编写，同时提供了Scala和Java的开发接口。 ~~~ Akka处理并发的方法基于Actor模型，Actor之间通信的唯一机制就是消息传递。 ### 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、类型参数 ### 扩展大纲 ~~~ 类型参数 ~~~ 泛型类、泛型函数、协变和逆变 ~~~ Akka ### 类型参数 ~~~ Scala的类型参数与Java的泛型是一样的， ~~~ 可以在集合、类、函数中定义类型参数，从而保证程序更好的健壮性。 ### 泛型类 ~~~ 泛型类，顾名思义，其实就 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、隐式参数和隐式值 ### 隐式参数和隐式值 ~~~ 在函数定义的时候，支持在最后一组参数中使用 implicit ，表明这是一组隐式参数。 ~~~ 在调用该函数的时候，可以不用传递隐式参数， ~~~ 而编译器会自动寻找一个implicit 标记过的合适的值作为参数。 ### Scala编译器会在 阅读全文

摘要： 一、隐式转换函数 ### 隐式转换案例 ~~~ 隐式转换案例：特殊售票窗口（只接受特殊人群买票，比如学生、老人等）， ~~~ 其他人不能在特殊售票窗口买票。 class SpecialPerson(var name: String) class Older(var name: String) cla 阅读全文

摘要： 一、隐式转换 ### 隐式机制课程大纲 ~~~ 隐式转换 ~~~ 隐式转换函数 ~~~ 隐式参数和隐式值 ### 隐式转换 ~~~ 隐式转换和隐式参数是Scala中两个非常强大的功能， ~~~ 利用隐式转换和隐式参数，可以提供类库，对类库的使用者隐匿掉具体的细节。 ~~~ Scala会根据隐式转换函 阅读全文

摘要： 一、隐式转换函数 ### 隐式转换函数 ~~~ Scala的隐式转换最核心的就是定义隐式转换函数，即implicit conversion function。 ~~~ 定义的隐式转换函数，只要在编写的程序内引入，就会被Scala自动使用。 ~~~ 隐式转换函数由Scala自动调用，通常建议将隐式转换 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Map ### Map ~~~ Map(映射)是一系列键值对的容器；Scala 提供了可变的和不可变的两种版本的Map， ~~~ 分别定义在包 scala.collection.mutable 和 scala.collection.immutable 里； ~~~ 默认情况下，Scala中使用不 阅读全文

摘要： 一、map、foreach & mapValues ### map、foreach & mapValues ~~~ 集合对象都有 foreach、map 算子。 ~~~ 两个算子的共同点在于：都是用于遍历集合对象，并对每一项执行指定的方法； ~~~ 两个算子的差异点在于： ~~~ foreach无返 阅读全文

摘要： 一、与Java集合的转换 ### 与Java集合的转换 ~~~ 使用 scala.collection.JavaConverters 与Java集合交互。 ~~~ 它有一系列的隐式转换，添加了asJava和asScala的转换方法。 ### 编程示例 import scala.collection. 阅读全文

摘要： 一、Set ### Set ~~~ Set(集合)是没有重复元素的对象集合，Set中的元素是唯一的； ~~~ Set分为可变的和不可变的集合； ~~~ 默认情况下，使用的是不可变集合(引用 scala.collection.immutable.Set)； ~~~ 使用可变集合，需要引用 scala. 阅读全文

摘要： 一、Seq ### seq ~~~ Seq代表按照一定顺序排列的元素序列； ~~~ 该序列是一种特别的可迭代集合，包含可重复的元素； ~~~ 元素的顺序是确定的，每个元素对应一个索引值； ### Seq提供了两个重要的子特质： ~~~ IndexedSeq：提供了快速随机访问元素的功能，它通过索引来 阅读全文

摘要： 一、可变和不可变集合 ### 集成大纲 ~~~ Scala中的可变和不可变集合 ~~~ 集合的三大类：Seq、Set、Map ~~~ 集合的常用算子 ~~~ Scala与Java之间的集合转换 ### 可变和不可变集合 ~~~ 根据容器中元素的组织方式和操作方式，可以分为有序和无序、可变和不可变等不 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、偏函数 ### 偏函数 ~~~ 偏函数（Partial Function）之所以“偏”， ~~~ 原因在于它们并不处理所有可能的输入，而只处理那些能与至少一个 case 语句匹配的输入； ~~~ 在偏函数中只能使用 case 语句，整个函数必须用大括号包围。 ~~~ 这与普通的函数字面量不同，普 阅读全文

摘要： 一、闭包 ### 闭包 ~~~ 闭包是一种函数，一种比较特殊的函数，它和普通的函数有很大区别： ~~~ # 普通的函数 val addMore1 = (x: Int) => x + 10 ~~~ # 外部变量，也称为自由变量 var more = 10 ~~~ # 闭包 val addMore2 = 阅读全文

摘要： 一、柯里化 ### 柯里化 ~~~ 函数编程中，接收多个参数的函数都可以转化为接收单个参数的函数， ~~~ 这个转化过程就叫柯里化(Currying)。 ~~~ Scala中，柯里化函数的定义形式和普通函数类似， ~~~ 区别在于柯里化函数拥有多组参数列表，每组参数用小括号括起来。 ~~~ Scal 阅读全文

摘要： 一、部分应用函数 ### 部分应用行数 ~~~ 部分应用函数（Partial Applied Function）也叫偏应用函数， ~~~ 与偏函数从名称上看非常接近，但二者之间却有天壤之别。 ~~~ 部分应用函数是指缺少部分（甚至全部）参数的函数。 ~~~ 如果一个函数有n个参数, 而为其提供少于n 阅读全文

摘要： 一、高阶函数 ### 高阶函数 ~~~ 高阶函数：接收一个或多个函数作为输入 或 输出一个函数。 ~~~ 函数的参数可以是变量，而函数又可以赋值给变量， ~~~ 由于函数和变量地位一样，所以函数参数也可以是函数； ~~~ 常用的高阶函数：map、reduce、flatMap、foreach、filt 阅读全文

摘要： 一、函数与方法的区别 ### 函数与方法的区别 scala> def addm(x: Int, y: Int): Int = x + y addm: (x: Int, y: Int)Int scala> val addf = (x: Int, y: Int) => x + y addf: (Int, 阅读全文

摘要： 一、匿名函数与占位符 ### 匿名函数与占位符 ~~~ 函数没有名字就是匿名函数； ~~~ 匿名函数，又被称为 Lambda 表达式。 Lambda表达式的形式如下： ~~~ (参数名1: 类型1, 参数名2: 类型2, ... ...) => 函数体 ### 编程示例 ~~~ 定义匿名函数 sca 阅读全文

摘要： 一、函数字面量及函数的定义 ### 函数字面量及函数的定义 ~~~ Scala中函数为头等公民，不仅可以定义一个函数然后调用它， ~~~ 还可以写一个未命名的函数字面量，然后可以把它当成一个值传递到其它函数或是赋值给其它变量。 ~~~ 函数字面量体现了函数式编程的核心理念。 ~~~ 字面量包括整数字 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、样例类 ### 样例类 ~~~ # case class样例类是Scala中特殊的类。当声明样例类时，以下事情会自动发生： ~~~ 主构造函数接收的参数通常不需要显式使用var或val修饰，Scala会自动使用val修饰 ~~~ 自动为样例类定义了伴生对象，并提供apply方法，不用new关键字 阅读全文