米兰的小铁將

摘要： 一、RDD持久化 1、不使用RDD持久化的问题 2、RDD持久化原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对 该RDD的反复使用中，直接使用内存缓存的partition 阅读全文

摘要： 一、transformation开发实战 1、map: 将集合中每个元素乘以2 使用map算子，将集合中的每个元素都乘以2 map算子，是对任何类型的RDD，都可以调用的，在Java中，map算子接收的参数是Function对象 创建的Function对象，一定会让你设置第二个泛型参数，这个泛型类型 阅读全文

摘要： 一、transformation和action入门 1、介绍 Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、 保存到文件等，并可以返 阅读全文

摘要： 一、创建RDD 1、创建RDD 进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的R 阅读全文

摘要： 一、wordcount程序原理深度剖析二、Spark架构原理1、 阅读全文

摘要： 一、用Java开发wordcount程序 1、开发环境JDK1.6 1.1 配置maven环境 1.2 如何进行本地测试 1.3 如何使用spark-submit提交到spark集群进行执行（spark-submit常用参数说明，spark-submit其实就类似于hadoop的hadoop jar 阅读全文

摘要： 1、介绍Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。 Spark中使用的分布式多线程框架，是Akka。Akka也实现了类似Scala... 阅读全文

摘要： 一、隐式转换1、介绍Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定，将某种类型的对象转换成其他类型的对象。通过这些功能，可以实现非常强大，而且特殊的功能。 Scala的隐式转换，其实最核心的就是定义隐式转换函数，即implicit conversion function。定义的隐式转换函数，只要在编写的程序内引入，就会被Scala... 阅读全文

摘要： 一、类型参数11、介绍类型参数是什么？类型参数其实就类似于Java中的泛型。先说说Java中的泛型是什么，比如我们有List a = new ArrayList（），接着a.add（1），没问题，a.add（"2"），然后我们a.get（1）== 2，对不对？肯定不对了，a.get（1）获取的其实是个String一"2"，String---"2"怎么可能与一个Integer类型的2相等呢？所以Ja... 阅读全文

摘要： 一、模式匹配11、介绍模式匹配是Scala中非常有特色，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多，Java的swich case语法只能对值进行匹配。但是Scala的模式匹配除了可以对值进行匹配之外，还可以对类型进行匹配... 阅读全文