摘要： 一、集群模式--Standalone模式 ### 集群模式--Standalone模式 ~~~ 参考：http://spark.apache.org/docs/latest/spark-standalone.html ~~~ 分布式部署才能真正体现分布式计算的价值 ~~~ 与单机运行的模式不同，这里 阅读全文

摘要： 一、伪分布式 ### 伪分布式 ~~~ # 伪分布式模式：在一台机器中模拟集群运行，相关的进程在同一台机器上； ~~~ # 备注：不用启动集群资源管理服务； ~~~ local-cluster[N,cores,memory] ~~~ N模拟集群的 Slave（或worker）节点个数 ~~~ cor 阅读全文

摘要： 一、Spark概述 ### 什么是Spark ~~~ Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎 ~~~ 2009年诞生于美国加州大学伯克利分校AMP 实验室 ~~~ 2010年通过BSD许可协议开源发布 ~~~ 2013年捐赠给Apache软件基金会并切换开源协议到切换许 阅读全文

摘要： 一、Spark官方地址 ### Spark安装 ~~~ 官网地址：http://spark.apache.org/ ~~~ 文档地址：http://spark.apache.org/docs/latest/ ~~~ 下载地址：http://spark.apache.org/downloads.htm 阅读全文

摘要： 一、本地模式 ### 本地模式 ~~~ 本地模式部署在单机，主要用于测试或实验； ~~~ 最简单的运行模式，所有进程都运行在一台机器的 JVM 中； ~~~ 本地模式用单机的多个线程来模拟Spark分布式计算， ~~~ 通常用来验证开发出来的应用程序逻辑上有没有问题； ~~~ 这种模式非常简单，只需 阅读全文

摘要： ### 课程大纲 ~~~ Spark Core -- 离线 ~~~ Spark SQL -- 离线、交互 ~~~ Spark Streaming -- 实时 ~~~ Spark GraphX -- 图处理 ~~~ Spark原理 ~~~ MapReduce、Spark、Flink（实时） => 3代 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： ### 课程总结~~~ 《Scala编程》本课程共十一部分 ### 课程目的：使用Scala进行Spark开发、阅读Spark源码 ~~~ 第一部分 Scala基础 ~~~ 第二部分 控制结构和函数 ~~~ 第三部分 数组和元组 ~~~ 第四部分 类与对象 ~~~ 第五部分 继承 ~~~ 第六部分 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Akka ### Akka ~~~ Akka是Java虚拟机平台上构建高并发、分布式和容错应用的工具包和运行时。 ~~~ Akka用Scala语言编写，同时提供了Scala和Java的开发接口。 ~~~ Akka处理并发的方法基于Actor模型，Actor之间通信的唯一机制就是消息传递。 ### 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、类型参数 ### 扩展大纲 ~~~ 类型参数 ~~~ 泛型类、泛型函数、协变和逆变 ~~~ Akka ### 类型参数 ~~~ Scala的类型参数与Java的泛型是一样的， ~~~ 可以在集合、类、函数中定义类型参数，从而保证程序更好的健壮性。 ### 泛型类 ~~~ 泛型类，顾名思义，其实就 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、隐式参数和隐式值 ### 隐式参数和隐式值 ~~~ 在函数定义的时候，支持在最后一组参数中使用 implicit ，表明这是一组隐式参数。 ~~~ 在调用该函数的时候，可以不用传递隐式参数， ~~~ 而编译器会自动寻找一个implicit 标记过的合适的值作为参数。 ### Scala编译器会在 阅读全文

摘要： 一、隐式转换函数 ### 隐式转换案例 ~~~ 隐式转换案例：特殊售票窗口（只接受特殊人群买票，比如学生、老人等）， ~~~ 其他人不能在特殊售票窗口买票。 class SpecialPerson(var name: String) class Older(var name: String) cla 阅读全文

摘要： 一、隐式转换 ### 隐式机制课程大纲 ~~~ 隐式转换 ~~~ 隐式转换函数 ~~~ 隐式参数和隐式值 ### 隐式转换 ~~~ 隐式转换和隐式参数是Scala中两个非常强大的功能， ~~~ 利用隐式转换和隐式参数，可以提供类库，对类库的使用者隐匿掉具体的细节。 ~~~ Scala会根据隐式转换函 阅读全文

摘要： 一、隐式转换函数 ### 隐式转换函数 ~~~ Scala的隐式转换最核心的就是定义隐式转换函数，即implicit conversion function。 ~~~ 定义的隐式转换函数，只要在编写的程序内引入，就会被Scala自动使用。 ~~~ 隐式转换函数由Scala自动调用，通常建议将隐式转换 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Map ### Map ~~~ Map(映射)是一系列键值对的容器；Scala 提供了可变的和不可变的两种版本的Map， ~~~ 分别定义在包 scala.collection.mutable 和 scala.collection.immutable 里； ~~~ 默认情况下，Scala中使用不 阅读全文