摘要：
一、内存都消耗在了哪里1、每个Java对象，都有一个对象头，会占用16个字节，主要是包括了一些对象的元信息，比如指向它的类的指针。如果一个对象本身很小，比如就包括了一个int类型的field，那么它的对象头实际上比对象自己还要大。2、Java的String对象，会比它内部的原始数据，要多出40个字节。因为它内部使用char数组来保存内部的字符序列的，并且还得保存诸如数组长度之类的信息。而且因为St... 阅读全文
posted @ 2019-07-26 17:23
米兰的小铁將
阅读(204)
评论(0)
推荐(0)
摘要：
一、原理1、Checkpoint是什么Checkpoint，是Spark提供的一个比较高级的功能。有的时候，比如说，我们的Spark应用程序，特别的复杂，然后呢，从初始的RDD开始，到最后整个应用程序完成，有非常多的步骤，比如超过20个transformation操作。而且呢，整个应用运行的时间也特别长，比如通常要运行1~5个小时。在上述情况下，就比较适合使用checkpoint功能。因为，对于特... 阅读全文
posted @ 2019-07-26 15:59
米兰的小铁將
阅读(1312)
评论(0)
推荐(0)
摘要：
一、图解二、源码分析###org.apache.spark.rdd/RDD.scalal###入口final def iterator(split: Partition, context: TaskContext): Iterator[T] = { if (storageLevel != StorageLevel.NONE) { // cacheManager相关东西 /... 阅读全文
posted @ 2019-07-26 15:43
米兰的小铁將
阅读(394)
评论(0)
推荐(0)
摘要：
一、原理1、图解Driver上，有BlockManagerMaster，它的功能，就是负责对各个节点上的BlockManager内部管理的数据的元数据进行维护，比如Block的增删改等操作，都会在这里维护元数据的变更;每个节点上，都有BlockManager，BlockManager上有几个关键组件：DiskStore，负责对磁盘上的数据进行读写;MemoryStore，负责对内存中的数据进行读写... 阅读全文
posted @ 2019-07-26 15:14
米兰的小铁將
阅读(574)
评论(0)
推荐(0)
摘要：
原文参考：https://blog.csdn.net/whs_321/article/details/52939263 一、简介 二、内置key 阅读全文
posted @ 2019-07-26 10:45
米兰的小铁將
阅读(667)
评论(0)
推荐(0)
浙公网安备 33010602011771号