盛夏群岛

2020年2月20日

摘要： RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD的计算结果将会被缓存在计算节点的内存中，并供后面重用。示例如下： d 阅读全文

posted @ 2020-02-20 18:26 盛夏群岛阅读(302) 评论(0) 推荐(0)

RDD(七)——依赖

摘要：概述 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。示例代码如下： def m 阅读全文

posted @ 2020-02-20 16:40 盛夏群岛阅读(186) 评论(0) 推荐(0)

scala编程（六）——函数式对象

摘要： Rational 的式样书分数：rational number 是一种可以表达为比率 d n 的数字，这里的 n 和 d 是数字，其中 d 不能为零。n 被称作是分子：numerator，d 被称作是分母：denominator。分数的例子有： 2/1 ， 3/2 ， 239/112 和 1/2 阅读全文

posted @ 2020-02-20 15:31 盛夏群岛阅读(323) 评论(0) 推荐(0)

scala编程（五）——基本类型和操作

摘要：文本文本是直接在代码里写常量值的一种方式以。在Scala中并不显式的使用Int或float，而是以文本的方式写成 val 变量。如果整数文本结束于 L 或者 l，就是 Long 类型，否则就是 Int 类型。如果浮点数文本以F或f结束，就是Float类型的，否则就是Double类型的。可选的阅读全文

posted @ 2020-02-20 11:52 盛夏群岛阅读(220) 评论(0) 推荐(0)

2020年2月19日

反射和泛型（三）

摘要：补充，还有两种获取type接口的方式：一.子类继承一个泛型的父类；二.子类继承一个泛型接口实例代码如下：先定义一个泛型接口： public interface MyComparatorInterface<T> { int compare(T a,T b); } 再定义两个实现该泛型接口的类：阅读全文

posted @ 2020-02-19 16:47 盛夏群岛阅读(122) 评论(0) 推荐(0)

反射和泛型（二）

摘要：转载自https://blog.csdn.net/u012466482/article/details/78429979 我们知道，一个Java的类主要包括两个元素，即是成员变量和成员方法。成员变量包括实例成员变量和静态成员变量，而成员方法也有实例成员方法和静态成员方法，构造方法则是特殊的成员方法。阅读全文

posted @ 2020-02-19 16:06 盛夏群岛阅读(135) 评论(0) 推荐(0)

反射和泛型（一）

摘要：通过反射获取和设置字段的私有属性（包括static属性）首先建立一个类Bean作为演示类： public class Bean { private String field; public Bean(String field) { this.field = field; } public Stri 阅读全文

posted @ 2020-02-19 15:38 盛夏群岛阅读(155) 评论(0) 推荐(0)

Java单例模式

摘要：懒汉模式与饿汉模式懒汉模式就是懒加载，用到的时候去加载，存在线程安全问题，需要手动地加锁控制。它的优点是类加载的速度比较快，按需加载，节省资源。饿汉模式就是在类加载的时候会创建出实例。它天生就不存在线程安全问题。但是类加载的速度会变慢且耗费资源。懒汉模式-单重检查示例代码如下： public 阅读全文

posted @ 2020-02-19 14:00 盛夏群岛阅读(130) 评论(0) 推荐(0)

2020年2月18日

scala编程（四）——类和对象

摘要：类，字段和方法在scala里定义一个典型的类，代码如下： class ChecksumAccumulator { private var sum = 0 def add(b: Byte): Unit = { sum += b } def checksum(): Int = { return ~(s 阅读全文

posted @ 2020-02-18 17:02 盛夏群岛阅读(312) 评论(0) 推荐(0)

2020年2月16日

利用多线程实现生产者-消费者

摘要：首先建立WorkshopService类，它提供线程安全的put操作和take操作： public class WorkshopService { private int buffer[]=null; //反映缓冲区当前的大小 private int size=0; private static f 阅读全文

posted @ 2020-02-16 17:23 盛夏群岛阅读(357) 评论(0) 推荐(0)

公告