摘要：
一、JVM体系结构概述 JVM位置 JVM体系结构 1.1 类加载器 ClassLoader 类加载器(ClassLoader)负责加载class文件，class文件在文件开头有特定的文件标示，并且ClassLoader只负责class文件的加载，至于它是否可以运行，则由Execution Engi 阅读全文
posted @ 2020-01-20 15:23
craz_cat
阅读(192)
评论(0)
推荐(0)
摘要：
一个topic有多个partition，每个partition又有多个副本，在这些副本中又有一个leader和多个follower。 1）分区的原因 （1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适 阅读全文
posted @ 2019-12-05 23:12
craz_cat
阅读(489)
评论(0)
推荐(0)
摘要：
kafka基础架构 什么是kafka？ Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1.什么是消息队列？ 2.使用消息队列的好处 1）解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性 系统的一部分组件失效时，不会影响 阅读全文
posted @ 2019-12-05 23:05
craz_cat
阅读(333)
评论(0)
推荐(0)
摘要：
HA工作机制 （配置HA高可用传送门：https://www.cnblogs.com/zhqin/p/11904317.html） HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 阅读全文
posted @ 2019-11-21 16:19
craz_cat
阅读(296)
评论(0)
推荐(0)
摘要：
1.什么是ZooKeeper？ Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 注意，这是一个协调平台，不是管理平台。类似于红绿灯，可以协调帮助道路通畅。 ZooKeeper起到了一个协调各个框架的作用。它并不是直接为我们的数据提供服务。 ZooKeeper从设 阅读全文
posted @ 2019-11-21 15:48
craz_cat
阅读(574)
评论(0)
推荐(0)
摘要：
配置前准备： 配置hadoop 配置ZooKeeper，传送门：https://www.cnblogs.com/zhqin/p/11906106.html 安装配置好hadoop和ZooKeeper之后，接下来开始正式配置HA： 1、在/opt下创建ha文件夹 sudo mkdir ha 2、更改h 阅读全文
posted @ 2019-11-21 11:12
craz_cat
阅读(296)
评论(0)
推荐(0)
摘要：
HA工作机制 HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 不是特别大，重启就好了。 HDFS的HA HDFS HA功能通过配置Active/Standby两个NameNodes 阅读全文
posted @ 2019-11-21 11:09
craz_cat
阅读(1940)
评论(0)
推荐(0)
摘要：
hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R 阅读全文
posted @ 2019-11-21 11:01
craz_cat
阅读(440)
评论(0)
推荐(0)
摘要：
MapReduce过程源码分析 ==================== Mapper 首先mapper完成映射，将word映射成(word,1)的形式。 MapReduce进程，Map阶段也叫MapTask，在MapTask中会通过run()方法来调用我们用户重写的mapper() 方法， 分布式 阅读全文
posted @ 2019-11-15 00:08
craz_cat
阅读(1106)
评论(0)
推荐(0)
摘要：
MySQL 1.索引 1.概念：索引（Index）是帮助MySQL高效获取数据的 数据结构 。因而可以得到索引的 本质：索引是数据结构。 简而言之就是“排好序的快速查找数据结构”。因而，索引决定两部分内容， 排序 和 查找 。 在数据之外， 数据库系统还维护着满足特定查找算法的数据结构 ，这些数据结 阅读全文
posted @ 2019-11-03 23:25
craz_cat
阅读(198)
评论(0)
推荐(0)
浙公网安备 33010602011771号