追こするれい的人

2021年11月24日

摘要：机架感知(RackAwareness) 通常，大型 Hadoop 集群会分布在很多机架上，在这种情况下，希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。综合考虑这两点的基础上 Hadoop 设计了机架感知功能外阅读全文

posted @ 2021-11-24 17:59 追こするれい的人阅读(160) 评论(0) 推荐(0)

HDFS 高可用（HA）故障转移工作机制

摘要： HDFS 高可用（HA）故障转移工作机制自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper（ZK）和 **ZKFailoverController（ZKFC）**进程 ZooKeeper（ZK）进程 ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障阅读全文

posted @ 2021-11-24 17:40 追こするれい的人阅读(274) 评论(0) 推荐(0)

HDFS 内部工作机制

摘要： HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode) NameNode 负责管理整个文件系统的元数据 DataNode 负责管理用户的文件块（Block）文件会按照固定的大小（默认 128 M）切成若干文件块（Block）后分布式存储在若干台 Da 阅读全文

posted @ 2021-11-24 16:56 追こするれい的人阅读(111) 评论(0) 推荐(0)

2021年11月23日

HDFS Shell 操作

摘要： HDFS Shell 命令行格式格式一：hadoop fs –命令名参数格式二：hdfs dfs –命令名参数 HDFS 常用命令及参数 ls：查看 hdfs 中的目录信息 [root@node-01 ~]# hadoop fs -ls / put或copyFromLocal：将本地文件上传阅读全文

posted @ 2021-11-23 23:32 追こするれい的人阅读(50) 评论(0) 推荐(0)

HDFS 简介

摘要：集群与分布式集群集群是由多个完成相同功能的服务器节点组成的集合集群中每个服务器节点处理相同的任务或存储相同的数据集群的关键特性是可扩展性和高可用性（支持负载均衡、错误恢复）分布式分布式是将一个系统拆分为多个不同的子系统，每个子系统运行在一个服务器节点上，最终共同完成系统的功能分布式中每阅读全文

posted @ 2021-11-23 16:09 追こするれい的人阅读(258) 评论(0) 推荐(0)

2021年11月22日

Sharding （分片模式）

摘要： Sharding （分片模式）副本集可以解决主节点发生故障导致数据丢失或不可用的问题，但遇到需要存储海量数据的情况时，副本集机制就束手无策了。副本集中的一台机器可能不足以存储数据，或者说集群不足以提供可接受的读写吞吐量。这就需要用到 MongoDB 的分片（Sharding）技术，这也是 Mong 阅读全文

posted @ 2021-11-22 18:47 追こするれい的人阅读(334) 评论(0) 推荐(0)

Hadoop 简介

摘要： Hadoop 是什么 Hadoop 是一个提供分布式存储和计算的开源软件框架，它具有无共享、高可用（HA）、弹性可扩展的特点，非常适合处理海量数量。 Hadoop 是一个开源软件框架 Hadoop 适合处理大规模数据 Hadoop 被部署在一个可扩展的集群服务器上 Hadoop 三大核心组件 HDF 阅读全文

posted @ 2021-11-22 18:46 追こするれい的人阅读(526) 评论(0) 推荐(0)

HDFS 集群环境搭建

摘要： HDFS 集群由一个主/从架构组成，单个运行 NameNode 进程的服务器为主节点服务器，多个运行 DataNode 进程的服务器为从节点服务器安装准备主机名IP地址服务器 node-01 192.168.229.21 NameNode服务器、DataNode服务器 node-02 192.1 阅读全文

posted @ 2021-11-22 17:22 追こするれい的人阅读(70) 评论(0) 推荐(0)

MongoDB 副本集环境搭建

摘要：节点规划主机名IP地址端口角色 node-01 192.168.229.21 27017 主节点（PRIMARY） node-02 192.168.229.22 27017 从节点1（SECONDARY） node-03 192.168.229.23 27017 从节点2（SECONDARY） n 阅读全文

posted @ 2021-11-22 14:50 追こするれい的人阅读(127) 评论(0) 推荐(0)

MongoDB分片集群环境搭建

摘要：分片集群部署主机名IP地址规划端口分配 node-01 192.168.229.21 副本集名称：shard1（1主2从1仲裁）主：27017 从：27018：从：27019 仲：28017 node-02 192.168.229.22 副本集名称：shard2（1主2从1仲裁）主：27017 阅读全文

posted @ 2021-11-22 14:46 追こするれい的人阅读(345) 评论(0) 推荐(0)

公告