摘要：
package com.cnn.service.HA; import com.cnn.service.ScheduledExecutorServiceDelay.ScheduledExecutorServiceDelayTask; import com.google.common.collect.C 阅读全文
摘要：
Spark Streaming：Spark提供的，对于大数据进行实时计算的一种框架；它的底层，也是基于Spark Core的；其基本的计算模型，还是基于内存的大数据实时计算模型RDD，只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream（类似Spark SQL中的DataFr 阅读全文
摘要：
1、内存Heap Dump文件抓取 heap dump记录了JVM中堆内存运行的情况。 XX:+HeapDumpOnOutOfMemoryError 应用启动时配置参数，当OutOfMemoryError发生时自动生成 Heap Dump 文件。这可是一个非常有用的参数，因为当你需要分析Java内 阅读全文
摘要：
目录 一、概述 二、堆内和堆外内存规划 2.1 堆内内存 2.2 堆外内存 2.3 内存管理接口 三、内存空间分配 3.1 静态内存管理 3.2 统一内存管理 四、存储内存管理 4.1 RDD 的持久化机制 4.2 RDD 缓存的过程 4.3 淘汰和落盘 五、 执行内存管理 5.1 多任务间内存分配 阅读全文
摘要：
目录 一、概述 二、shuffle的定义 三、ShuffleManager发展概述 四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager 4.2 优化后的HashShuffleManager 五、SortShuffleManager运行原理 5. 阅读全文
摘要：
目录 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方 阅读全文
摘要：
目录 调优概述 原则一：避免创建重复的RDD 一个简单的例子 原则二：尽可能复用同一个RDD 一个简单的例子 原则三：对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四：尽量避免使用shuffle类算子 Broadca 阅读全文
摘要：
sparkcore是做离线批处理 sparksql 是做sql高级查询 sparkshell 是做交互式查询 sparkstreaming是做流式处理 区别： Spark Core ： Spark的基础，底层的最小数据单位是：RDD ; 主要是处理一些离线(可以通过结合Spark Streaming 阅读全文
摘要：
目录 一、Spark中的基本概念 二、Spark的运行流程 2.1 Spark的基本运行流程 三、Spark在不同集群中的运行架构 3.1 Spark on Standalone运行过程 3.2 Spark on YARN运行过程 正文 回到顶部 一、Spark中的基本概念 （1）Applicati 阅读全文
摘要：
目录 Transformation算子 基本的初始化 一、map、flatMap、mapParations、mapPartitionsWithIndex 1.1 map 1.2 flatMap 1.3 mapPartitions 1.4 mapPartitionsWithIndex 二、reduce 阅读全文