浮世间

2020年3月4日

摘要： Java容器 Java中容器类可以分为两大类：Collection与Map。 Collection：存储对象的集合； Map：存储键值对。 Collection Set TreeSet HashSet LinkedHashSet List ArrayList ArrayList源码 Vector ` 阅读全文

posted @ 2020-03-04 15:43 浮世间阅读(157) 评论(0) 推荐(0) 编辑

Hadoop之HDFS的热备份

摘要： HDFS的热备份其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh 阅读全文

posted @ 2020-03-04 07:57 浮世间阅读(774) 评论(0) 推荐(0) 编辑

Hadoop之联邦HDFS

摘要：联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切阅读全文

posted @ 2020-03-04 07:46 浮世间阅读(729) 评论(0) 推荐(0) 编辑

2020年3月3日

Hadoop之HDFS如何保证高可用

摘要： HDFS如何保护高可用 1. NameNode 通过JournalNode和DFSZKFailoverController实现。 JournalNode负责主从数据一致； ZKFC负责主从的Failover(通过ssh或shell实现防止脑裂). 2. JournalNode 自生也是分布式的，因为阅读全文

posted @ 2020-03-03 21:47 浮世间阅读(446) 评论(0) 推荐(0) 编辑

Hadoop之HDFS的读流程

摘要： HDFS的读流程 1. 客户端首先通过在FileSystem上调用open()方法打开它想要打开的文件，对于HDFS来说，就是在DistributedFileSystem的实例上调用。 2. 之后DistributedFileSystem就与NameNode进行RPC通信，查明组成文件的前几个块的位阅读全文

posted @ 2020-03-03 21:31 浮世间阅读(232) 评论(0) 推荐(0) 编辑

Hadoop之HDFS数据写流程和写失败的情况

摘要： HDFS的写流程 1. 首先客户端通过DistributedFileSystem上调用create()方法来创建一个文件。 2. DistributedFileSystem使用RPC呼叫NameNode,让NameNode在NameSpace上创建一个没有与任何关联的新文件，并确认客户端是否拥有创建阅读全文

posted @ 2020-03-03 20:37 浮世间阅读(1386) 评论(0) 推荐(0) 编辑

Hadoop之HDFS的block、packet、chunk

摘要： HDFS中的block、packet、chunk Block HDFS中的文件在物理上是分块存储的，即分成Block； block在Hadoop不同版本大小不同： Hadoop1.x：64M Hadoop2.x：128M "HDFS块从64M升级后改为128M的原因" Packet Packet是C 阅读全文

posted @ 2020-03-03 19:31 浮世间阅读(1771) 评论(0) 推荐(0) 编辑

Hadoop之HDFS的元数据冷备份(CheckPoint)

摘要：元数据冷备份冷备份的起因：总而言之，原因为：避免NameNode中的元数据丢失；尽可能保障NameNode的启动速度。前言：时间达到你在配置文件中配置的时间(eg:6h)； edits.log已经达到的配置文件中配置的指定大小(eg:64M)。 1. SecondaryNameNode通阅读全文

posted @ 2020-03-03 13:26 浮世间阅读(1496) 评论(1) 推荐(1) 编辑

当ZooKeeper作为Dubbo的注册中心的时候，是怎么工作的？

摘要：服务提供者在初始化启动时，会在Zookeeper下的Dubbo节点下的服务节点下的providers节点下的节点创建一个子节点并写入URL，路径类似为 /dubbo/servicename/providers/ ，该路径下的所有子节点均为服务提供者。此时这些子节点都为临时节点，因为临时节点的生命周阅读全文

posted @ 2020-03-03 07:53 浮世间阅读(579) 评论(0) 推荐(0) 编辑

Dubbo

摘要： Dubbo 架构节点角色说明 1. Provider：暴露服务的服务提供方 2. Consummer:调用远程服务的服务消费方 3. Registry:服务注册与发现的注册中心 4. Monitor：统计服务调用次数和调用时间的监控中心 5. Container：服务运行容器调用关系说明 1. 阅读全文

posted @ 2020-03-03 07:47 浮世间阅读(143) 评论(0) 推荐(0) 编辑

公告