摘要：## Hadoop federation配置 ### 1、介绍 hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。... 阅读全文

摘要：## Typora使用 ### 1、介绍 typora是一款不错的软件。 #### 1.1 基本使用 1. html 2. js 3. css 4. python 5. java 6. vb #### 1.2 无序列表 - a - b - c - d - e - f #### 1.3 java代码 ```python public void add(){ Syst... 阅读全文

摘要：## Hadoop常用操作 ### 1、Hadoop安装 略 ### 2、Hadoop配置 略 ### 3、Hadoop多目录配置 namenode和datanode节点下都可以进行多个目录的配置，但是意义不同。namenode的多目录配置是副本策略，保证数据可靠性，datanode多目录配置是对容量进行扩容，由于datanode已经有副本机制了。 [hdfs-site.xml] ... 阅读全文

摘要：## 使用QJM实现HDFS的HA配置### 1、背景hadoop 2.0.0之前，namenode存在单点故障问题（SPOF，single point of failure），如果主机或进程不可用时，整个集群就变得不可用，直到namenode进行重启或产生新的namenode。主要有两种方式会影响到HDFS集群：- 不可预期事件比如机器宕机，集群变得不可用直到操作人员重启namenode。- ... 阅读全文

摘要：### 1、HDFS分布式文件系统 1. 分布式存储 2. 分布式计算 ### 2、hadoop hadoop含有四个模块，分别是 common、 hdfs和yarn。 1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系统，负责文件的存储管理。HDFS包括Namenode进程、DataNode... 阅读全文