随笔分类 -  HDFS

HDFS 文件分布式系统
HDFS 伪分布式集群搭建
摘要：伪分布式集群搭建 1、伪分布式搭建 1.1、先配置JDK环境 上传后解压JDK到/usr/java/ export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=/usr/java/jdk1.8.0_221/jre export CLASSPATH 阅读全文
posted @ 2020-08-04 16:01 shaoyayu 阅读(227) 评论(0) 推荐(0)
Hadoop的HA高可用实验
摘要：Hadoop的HA高可用实验 1、免秘钥登录 集群之间做免秘钥登录 2、简介 目的 本指南概述了HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS群集。 本文档假定读者对HDFS群集中的常规组件和节点类型有一般的了解。有关详细信 阅读全文
posted @ 2020-08-04 15:56 shaoyayu 阅读(604) 评论(0) 推荐(0)
Hadoop HDFS 集群的分布式搭建
摘要：Hadoop集群的HA 1、简介 HA模式解决单点故障问题， 2、规划 NN-1 NN-2 DN ZK ZKFC JNN Node1 * * * Node2 * * * * * Node3 * * * Node4 * * ZK: zookeeper ZKFC: failover controller 阅读全文
posted @ 2020-08-04 15:55 shaoyayu 阅读(185) 评论(0) 推荐(0)
Zookeeper分布式协调服务
摘要：Zookeeper分布式协调服务 1、简介 ​ zookeeper是一个分布式协调服务的框架，主要用来解决分布式集群中应用系统的一致性问题，例如如何避免同时操作导致数据脏读的问题等，Zookeeper本质上是一个分布式的小型文件存储系统，提供基于类似文件系统树方式的数据存储，并且可以对书中的节点进行 阅读全文
posted @ 2020-08-04 15:53 shaoyayu 阅读(568) 评论(0) 推荐(0)
HDFS 2.0 介绍
摘要：Hadoop版本 1、Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题？ 2、HDFS存在的问题 NameNode单点故障，难于应用于在线场景 HA 【high availability 高可用】 NameNode压力过大，且内存受限，影响扩展性 F【Federatio 阅读全文
posted @ 2020-08-04 15:51 shaoyayu 阅读(557) 评论(0) 推荐(0)
HDFS 全分布式集群搭建
摘要：全分布式集群搭建 1、系统配置 1.1、时间 1.2、JDK 1.3、免秘钥登录 【我做的是节点之间免密登录，可以给主节点做单向的免秘钥登录】 【服务器时间必须统一】 【关闭防火墙，关闭安全机制】 这里我就不做过多的笔记，后面还有很多的配置等着，10几分钟左右的事情。 2、修改配置文件： 这是基于伪 阅读全文
posted @ 2020-08-04 15:48 shaoyayu 阅读(265) 评论(0) 推荐(0)
HDFS 伪分布式集群搭建
摘要：伪分布式集群搭建 1、伪分布式搭建 1.1、先配置JDK环境 上传后解压JDK到/usr/java/ export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=/usr/java/jdk1.8.0_221/jre export CLASSPATH 阅读全文
posted @ 2020-08-04 15:45 shaoyayu 阅读(305) 评论(0) 推荐(0)
HDFS入门
摘要：HDFS入门 简介： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布 阅读全文
posted @ 2020-08-04 15:35 shaoyayu 阅读(204) 评论(0) 推荐(0)
Hadoop-HDFS
摘要：Hadoop-HDFS 1、介绍 HDFS是Hadoop应用程序使用的主要分布式存储。HDFS群集主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成。《 HDFS体系结构指南》详细介绍了HDFS。本用户指南主要处理用户和管理员与HDFS群集的交互。HDFS体系结构图描述了 阅读全文
posted @ 2020-08-04 15:29 shaoyayu 阅读(135) 评论(0) 推荐(0)