摘要：
1.背景 2.为什么废弃永久代（PermGen） 3.深入理解元空间（Metaspace） 4.总结 正文分割线 一、背景 1.1 永久代（PermGen）在哪里？ 根据，hotspot jvm结构如下(虚拟机栈和本地方法栈合一起了)： 上图引自网络，但有个问题：方法区和heap堆都是线程共享的内存 阅读全文
posted @ 2017-04-27 21:50
余磊
阅读(30623)
评论(3)
推荐(17)
摘要：
Hadoop学习笔记总结 01. YARN框架 1. 新一代的框架介绍 YARN的职能就是将资源调度和任务调度分开。资源管理器ResourceManager全局管理所有应用程序计算资源的分配，每一个job的ApplicationMaster负责相应任务的调度和协调。 ResourceManager做 阅读全文
posted @ 2017-04-27 21:44
余磊
阅读(231)
评论(0)
推荐(0)
摘要：
Hadoop学习笔记总结 01. InputFormat和OutFormat 1. 整个MapReduce组件 InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写，数据库的读写，服务器端的读写。这样的设计，具有高内聚、低耦合的特点。 2. 提交任务时，获取split切片 阅读全文
posted @ 2017-04-27 21:43
余磊
阅读(185)
评论(0)
推荐(0)
摘要：
Hadoop学习笔记总结 01. MapReduce 1. Combiner（规约） Combiner号称本地的Reduce。 问：为什么使用Combiner？答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。 阅读全文
posted @ 2017-04-27 21:43
余磊
阅读(242)
评论(0)
推荐(0)
摘要：
Spark学习笔记总结 02. Spark任务流程 1. RDD的依赖关系 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency） 窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Part 阅读全文
posted @ 2017-04-27 21:42
余磊
阅读(252)
评论(0)
推荐(0)
浙公网安备 33010602011771号