随笔分类 - Spark
摘要：本课内容1.Spark中Scala集合操作鉴赏2.Scala集合操作实战 /** * 大数据技术是数据的集合以及对数据集合的操作技术的统称，具体来说： * 1.数据集合：会涉及数据的搜集、存储等，搜集会有很多技术，存储现在比较经典的是使用Hadoop, * 也有很多情况使用Kafka(消息中间件，也
阅读全文
摘要：Scala函数式编程 /** * 函数可以被简单的被认为是包裹了一条或几条语句的代码体， * 该代码体接收若干参数，经过代码体处理后返回结果， * 刑如数学中的f(x) = x + 1 * * 在Scal中函数式一等公民，可以像变量一样被传递，被赋值，同时 * 函数可以赋值给变量，变量也可以赋值给函
阅读全文
摘要：1.环境搭建 基础环境配置 jdk+idea+maven+scala2.11。以上工具安装配置此处不再赘述。 2.源码导入 官网下载spark源码后解压到合适的项目目录下，打开idea，File->open 找到源码文件夹，选中spark-parent的pom文件，确定-> open as a pr
阅读全文
摘要：
阅读全文
摘要：val声明的不可变的战略意义：1.函数式编程中要求值不可变，val天然符合这一特性；2.在分布式系统中，一般都要求值不可变，这样才能够要求分布式系统的设计和实现，同时拥有更高的效率，val声明的内容都不可变，所以不用担心在机器之间传递数据的时候修改数据，这为分布式编程打下非常好的基础，包括Spark
阅读全文
摘要：共计28课，每节课程在1个小时左右。 每天至少2个课程。预计在11.30号完成。 ——————————————————
阅读全文
摘要：第102讲：通过案例解析Akka中的Actor运行机制以及Actor的生命周期 Actor是构建akka程序的核心基石，akka中actor提供了构建可伸缩的，容错的，分布式的应用程序的基本抽象， actor是异步的，非阻塞式的，事件驱动的轻量级的模型， actor中都有自己的成员，也有receiv
阅读全文
摘要：第90讲：基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验 akka在业界使用非常广泛 spark背后就是由akka驱动的 要写消息驱动的编程模型都首推akka 下面将用30讲讲解akka 本讲主要讲两部分内容： 1.akka的重大意义 2.akka与scala的actor Sp
阅读全文
摘要：第81讲：Scala中List的构造是的类型约束逆变、协变、下界详解 首先复习四个概念——协变、逆变、上界、下界 对于一个带类型参数的类型，比如 List[T]： 如果对A及其子类型B，满足 List[B]也符合 List[A]的子类型，那么就称为covariance(协变)； 如果 List[A]
阅读全文
摘要：第61讲：Scala中隐式参数与隐式转换的联合使用实战详解及其在Spark中的应用源码解析 第62讲：Scala中上下文界定内幕中的隐式参数与隐式参数的实战详解及其在Spark中的应用源码解析 第63讲：Scala中隐式类代码实战详解 第64讲：Scala中隐式对象代码实战详解 运行结果： (Lis
阅读全文
摘要：第41讲：List继承体系实现内幕和方法操作源码揭秘 第42讲：Scala中泛型类、泛型函数、泛型在Spark中的广泛应用 第43讲：Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析 第44讲：Scala中View Bounds代码实战及其在Spark中的应用源码解析 第45
阅读全文
摘要：第24讲：Scala中SAM转换实战详解 SAM：single abstract method 单个抽象方法 我们想传入一个函数来指明另一个函数具体化的工作细节，但是重复的样板代码很多。 我们不关心它实现了什么接口的什么方法，只关心这个动作。比如下面的按钮点击一次，data就加1，而不关心Actio
阅读全文
摘要：基于王家林老师的Spark教程——共计111讲的《Scala零基础教学》 计划在9月24日内完成(中秋节假期之内) 目前18号初步学习到25讲，平均每天大约完成15讲，望各位监督。 初步计划： 18号完成40讲 19号完成55讲 20号完成70讲 21号完成85讲 22号完成100讲 23号完成11
阅读全文
浙公网安备 33010602011771号