Binge - 和时间做朋友

摘要： 引言 Java 8 中引入了两个与日期相关的新类： Period ：基于日期值 Duration：基于时间值 它们最大的作用就不需要你自己复杂的计算关于两个年月日之间的相差的时间或日期啦. Period 类与 Duration 类都是一段持续时间的概念,如果需要对比时间，它们就需要一个固定的时间值, 阅读全文

摘要： 引言 序列化和反序列化几乎是工程师们每天都要面对的事情，但是要精确掌握这两个概念并不容易：一方面，它们往往作为框架的一部分出现而湮没在框架之中；另一方面，它们会以其他更容易理解的概念出现，例如加密、持久化。然而，序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更 阅读全文

摘要： 引言 Apache Spark 2.2 以及以上版本提供的三种 API - RDD、DataFrame 和 Dataset，它们都可以实现很多相同的数据处理，它们之间的性能差异如何，在什么情况下该选用哪一种呢？ RDD 从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说， 阅读全文

摘要： 4 种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 xlist,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, xlist等价于list.::(x)) :+ 阅读全文

摘要： Spark 选择 Scala 作为开发语言 在 Spark 诞生之初，就有人诟病为什么 AMP 实验室选了一个如此小众的语言 - Scala，很多人还将原因归结为学院派的高冷，但后来事实证明，选择 Scala 是非常正确的，Scala 很多特性与 Spark 本身理念非常契合，可以说它们是天生一对。 阅读全文

摘要： Java关键字 Java 一共有 50 个关键字（keywords），其中有 2 个是保留字，目前还不曾用到：goto 和 const。true、false 和 null 看起来很像关键字，但实际上只是字面量而已。本文粗略的把true、false 和 null也看做Java关键字，认为Java一共有 阅读全文

摘要： 引言 HDFS 的定位就是一个文件系统，用于存储文件，而 HDFS 对于文件的存储方式有两种： 内存存储 异构存储 内存存储 什么是内存存储？ 首先，我们来了解一下到底什么是 “内存存储”？ 那还用说嘛，当然就是使用内存来存储数据的方式咯！是的，在 HDFS 中，“内存存储” 就是我们常听到的 " 阅读全文

摘要： 引言 在开发中，如果某个实例的创建需要消耗很多系统资源，那么我们通常会使用惰性加载机制（或懒加载、延时加载），也就是说只有当使用到这个实例的时候才会创建这个实例，这个好处在单例模式中得到了广泛应用。这个机制在单线程环境下的实现非常简单，然而在多线程环境下却存在隐患。 1、单例模式的惰性加载 通常当我 阅读全文

摘要： 在 vs/c# 项目开发中，经常会遇到 lib 和 dll 文件，而且创建工程项目以及工程项目打包时也是必须要面对的，所以有必要掌握 lib 和 dll 的区别和使用。 静态库：在链接步骤中，连接器将库文件取得所需的代码，复制到生成的可执行文件中，这种库叫做静态库，其特点是可执行文件中包含了库代码的 阅读全文

摘要： 引言 Scala 中定义变量分为 var（可变变量）和 val（不可变变量） Scala 中集合框架也分为可变集合和不可变集合。比如 List（列表） 和 Tuple（元组）本身就是不可变的，set 和 map 分为可变和不可变的，默认为不可变。 var 与 val 的理解 例子如下： var li 阅读全文