CbbbW

摘要： 第一部分：Kafka架构与实操 1.1概念和基本架构 1.1.1kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基 于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日 志，消息服务 阅读全文

摘要： 一、Mapreduce原理分析 1.1maptask运行机制 （1）首先，读取数据组件Inputformat（默认为TextInputFormat）会通过getsplit（）方法对对应目录中的文件进行逻辑切片，默认128M，一个切片对应一个maptask。 （2）切分为切片之后，由RecordRea 阅读全文

摘要： 一、什么是mapreduce mapreduce是hadoop中的分布式计算框架，用于处理海量数据的计算。主要利用的是分治的思想，由两个阶段构成，（1）Map阶段将复杂的任务分解为若干个简单重复的任务（2）reduce阶段用于将Map阶段的结果进行汇总。 二、入门案例 我们来看一个入门案例，单词统计 阅读全文

摘要： JVM内存模型：JVM内部主要由运行时数据区、类加载子系统、字节码执行引擎三部分构成，jvm调优，很大部分是针对运行时数据区进行的。运行时数据区主要由本地方法栈、虚拟机栈、程序计数器、堆、方法区几部分构成。对象的创建一般是在堆上创建的，这个过程中会频繁的产生垃圾、回收垃圾，这是一个比较费时间的工作， 阅读全文

摘要： 为什么需要自定义类加载器？java提供的类加载器只能够到指定的目录完成相关类的加载，若我们想对自定义目录下的类完成加载，此时就需要自定义类加载器。 之前说过，类加载的过程中最后，执行到最后会调用ClassLoader的loadClass方法，那么我们可以通过自定义加载器继承ClassLoader类， 阅读全文

摘要： 类加载的大体流程如下： 整篇文章，都对照上图进行讲解，在对上图具体讲解之前，首先介绍一下类加载器。java中主要有以下四种类加载器： 1、引导类加载器（BootstrapClassloader),负责加载jre/lib目录下的核心类库。 2、扩展类加载器（ExtClassloader),负责加载jr 阅读全文