2020年3月4日
Java容器
摘要： Java容器 Java中容器类可以分为两大类：Collection与Map。 Collection：存储对象的集合； Map：存储键值对。 Collection Set TreeSet HashSet LinkedHashSet List ArrayList ArrayList源码 Vector ` 阅读全文
posted @ 2020-03-04 15:43 浮世间 阅读(161) 评论(0) 推荐(0)
Hadoop之HDFS的热备份
摘要： HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh 阅读全文
posted @ 2020-03-04 07:57 浮世间 阅读(851) 评论(0) 推荐(0)
Hadoop之联邦HDFS
摘要： 联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切 阅读全文
posted @ 2020-03-04 07:46 浮世间 阅读(755) 评论(0) 推荐(0)
2020年3月3日
Hadoop之HDFS如何保证高可用
摘要： HDFS如何保护高可用 1. NameNode 通过JournalNode和DFSZKFailoverController实现。 JournalNode负责主从数据一致； ZKFC负责主从的Failover(通过ssh或shell实现防止脑裂). 2. JournalNode 自生也是分布式的，因为 阅读全文
posted @ 2020-03-03 21:47 浮世间 阅读(470) 评论(0) 推荐(0)
Hadoop之HDFS的读流程
摘要： HDFS的读流程 1. 客户端首先通过在FileSystem上调用open()方法打开它想要打开的文件，对于HDFS来说，就是在DistributedFileSystem的实例上调用。 2. 之后DistributedFileSystem就与NameNode进行RPC通信，查明组成文件的前几个块的位 阅读全文
posted @ 2020-03-03 21:31 浮世间 阅读(250) 评论(0) 推荐(0)
Hadoop之HDFS数据写流程和写失败的情况
摘要： HDFS的写流程 1. 首先客户端通过DistributedFileSystem上调用create()方法来创建一个文件。 2. DistributedFileSystem使用RPC呼叫NameNode,让NameNode在NameSpace上创建一个没有与任何关联的新文件，并确认客户端是否拥有创建 阅读全文
posted @ 2020-03-03 20:37 浮世间 阅读(1641) 评论(0) 推荐(0)
Hadoop之HDFS的block、packet、chunk
摘要： HDFS中的block、packet、chunk Block HDFS中的文件在物理上是分块存储的，即分成Block； block在Hadoop不同版本大小不同： Hadoop1.x：64M Hadoop2.x：128M "HDFS块从64M升级后改为128M的原因" Packet Packet是C 阅读全文
posted @ 2020-03-03 19:31 浮世间 阅读(2006) 评论(0) 推荐(0)
Hadoop之HDFS的元数据冷备份(CheckPoint)
摘要： 元数据冷备份 冷备份的起因： 总而言之，原因为： 避免NameNode中的元数据丢失； 尽可能保障NameNode的启动速度。 前言： 时间达到你在配置文件中配置的时间(eg:6h)； edits.log已经达到的配置文件中配置的指定大小(eg:64M)。 1. SecondaryNameNode通 阅读全文
posted @ 2020-03-03 13:26 浮世间 阅读(1640) 评论(1) 推荐(1)
当ZooKeeper作为Dubbo的注册中心的时候，是怎么工作的？
摘要： 服务提供者在初始化启动时，会在Zookeeper下的Dubbo节点下的服务节点下的providers节点下的节点创建一个子节点并写入URL，路径类似为 /dubbo/servicename/providers/ ，该路径下的所有子节点均为服务提供者。 此时这些子节点都为临时节点，因为临时节点的生命周 阅读全文
posted @ 2020-03-03 07:53 浮世间 阅读(589) 评论(0) 推荐(0)
Dubbo
摘要： Dubbo 架构 节点角色说明 1. Provider：暴露服务的服务提供方 2. Consummer:调用远程服务的服务消费方 3. Registry:服务注册与发现的注册中心 4. Monitor：统计服务调用次数和调用时间的监控中心 5. Container：服务运行容器 调用关系说明 1. 阅读全文
posted @ 2020-03-03 07:47 浮世间 阅读(150) 评论(0) 推荐(0)