Binge - 和时间做朋友

摘要： ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL 会花掉整个 阅读全文

摘要： 引言 JAVA 语言为我们提供了两种基础线程池的选择： ThreadPoolExecutor ScheduledThreadPoolExecutor 它们都实现了 ExecutorService 接口 注意，ExecutorService接口本身和“线程池”并没有直接关系，它的定义更接近“执行器”， 阅读全文

摘要： 引言 我们之前使用线程的时候都是使用 new Thread 来进行线程的创建，但是这样会有一些问题 每次 new Thread 新建对象性能差 线程缺乏统一管理，可能无限制新建线程，相互之间竞争，及可能占用过多系统资源导致死机 缺乏更多功能，如定时执行、定期执行、线程中断。 相比 new Threa 阅读全文

摘要： 引言 Java 8 中引入了两个与日期相关的新类： Period ：基于日期值 Duration：基于时间值 它们最大的作用就不需要你自己复杂的计算关于两个年月日之间的相差的时间或日期啦. Period 类与 Duration 类都是一段持续时间的概念,如果需要对比时间，它们就需要一个固定的时间值, 阅读全文

摘要： 引言 序列化和反序列化几乎是工程师们每天都要面对的事情，但是要精确掌握这两个概念并不容易：一方面，它们往往作为框架的一部分出现而湮没在框架之中；另一方面，它们会以其他更容易理解的概念出现，例如加密、持久化。然而，序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更 阅读全文

摘要： 引言 Apache Spark 2.2 以及以上版本提供的三种 API - RDD、DataFrame 和 Dataset，它们都可以实现很多相同的数据处理，它们之间的性能差异如何，在什么情况下该选用哪一种呢？ RDD 从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说， 阅读全文

摘要： 4 种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 xlist,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, xlist等价于list.::(x)) :+ 阅读全文

摘要： Spark 选择 Scala 作为开发语言 在 Spark 诞生之初，就有人诟病为什么 AMP 实验室选了一个如此小众的语言 - Scala，很多人还将原因归结为学院派的高冷，但后来事实证明，选择 Scala 是非常正确的，Scala 很多特性与 Spark 本身理念非常契合，可以说它们是天生一对。 阅读全文

摘要： Java关键字 Java 一共有 50 个关键字（keywords），其中有 2 个是保留字，目前还不曾用到：goto 和 const。true、false 和 null 看起来很像关键字，但实际上只是字面量而已。本文粗略的把true、false 和 null也看做Java关键字，认为Java一共有 阅读全文

摘要： 引言 HDFS 的定位就是一个文件系统，用于存储文件，而 HDFS 对于文件的存储方式有两种： 内存存储 异构存储 内存存储 什么是内存存储？ 首先，我们来了解一下到底什么是 “内存存储”？ 那还用说嘛，当然就是使用内存来存储数据的方式咯！是的，在 HDFS 中，“内存存储” 就是我们常听到的 " 阅读全文