摘要: HDFS原理深入理解 1、HDFS概述 (1)数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。 (2)是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上 阅读全文
posted @ 2022-02-11 22:04 阿伟宝座 阅读(420) 评论(0) 推荐(0)
摘要: Hadoop的HDFS组件的Xshell命令 回顾: 三大组件:HDFS、MR、Yarn 手动搭建好Hadoop集群后,MR这个进程是看不到的,只能看得到HDFS和Yarn的进程 HDFS和Yarn遵循主从架构: HDFS主节点:NameNode 简称NN Yarn主节点:ResourceManag 阅读全文
posted @ 2022-02-11 21:30 阿伟宝座 阅读(397) 评论(0) 推荐(0)
摘要: Hadoop集群搭建(分布式版本)及其常见的操作命令 一、准备工作 三台虚拟机:master、node1、node2 #克隆的时候选择 完整克隆 和 链接克隆 的区别 完整克隆:克隆出两台独立的虚拟机 链接克隆:依赖master,假如说把master删了,那么node1、node2就都挂了 链接克隆 阅读全文
posted @ 2022-02-11 19:17 阿伟宝座 阅读(178) 评论(0) 推荐(0)