一年都在冬眠

2024年9月18日

摘要：一、DataNode工作机制 1、一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳 2、DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息 3、心跳是每阅读全文

posted @ 2024-09-18 14:19 一年都在冬眠阅读(97) 评论(0) 推荐(0)

Hadoop（十二）HDFS NameNode 和 SecondaryNameNode

摘要：一、NN和2NN工作机制 1、NameNode中的元数据存储在哪里？存储在NameNode节点的磁盘中会导致效率过低，因为经常需要进行随机访问和响应客户请求；存储在内存中，一旦元数据丢失，整个集群就无法工作，也不合适。因此产生了在磁盘中备份元数据的FsImage。引入Edits文件（只进行追加操阅读全文

posted @ 2024-09-18 14:05 一年都在冬眠阅读(140) 评论(0) 推荐(0)

Hadoop（十一）HDFS 读写数据流程

摘要： HDFS读写数据流程一、写数据流程 1、客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在 2、NameNode返回是否可以上传 3、客户端请求第一个Block上传到哪几个DataNode服务器上 4、N 阅读全文

posted @ 2024-09-18 09:36 一年都在冬眠阅读(390) 评论(0) 推荐(0)

2024年9月14日

Hadoop（十）HDFS API操作

摘要： API操作 Shell操作是在集群内部，即hadoop102上进行操作，API操作是希望在Windows上能远程连接集群实现增删改查操作一、客户端环境准备 1、找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径 2、在Windows上配置HADOOP_HOME环境阅读全文

posted @ 2024-09-14 17:03 一年都在冬眠阅读(205) 评论(0) 推荐(0)

Hadoop（九）HDFS Shell操作

摘要： Shell操作一、基本语法 hadoop fs 具体命令 hdfs dfs 具体命令二、命令大全 [user@hadoop102 ~]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst 阅读全文

posted @ 2024-09-14 10:42 一年都在冬眠阅读(56) 评论(0) 推荐(0)

Hadoop（八）HDFS 概述

摘要： HDFS概述一、产生背景和定义 1、产生背景一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、定义 HDFS（Hadoop Distribute 阅读全文

posted @ 2024-09-14 09:21 一年都在冬眠阅读(101) 评论(0) 推荐(0)

2024年9月13日

Hadoop（七）集群搭建过程中遇到的问题及解决方法

摘要：遇到的问题及解决方法 1、Hadoop启动正常，但是进不了web端hadoop102：9870 解决方法：查看自己的hosts文件（C:\Windows\System32\drivers\etc），发现没有配置相关网点，添加如下内容（不需要在前面加'#'）： 192.168.10.100 hadoo 阅读全文

posted @ 2024-09-13 15:32 一年都在冬眠阅读(229) 评论(0) 推荐(0)

Hadoop（六）生产集群搭建（三）

摘要：完全分布式运行模式一、群起集群 1、配置workers [user@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 在文件中添加如下内容： hadoop102 hadoop103 hadoop104 2、启动集群阅读全文

posted @ 2024-09-13 15:26 一年都在冬眠阅读(49) 评论(0) 推荐(0)

2024年9月12日

Hadoop（五）生产集群搭建（二）

摘要：完全分布式运行模式一、SSH无密登录配置 1、基本语法 ssh 另一台电脑的IP地址 [user@hadoop102 ~]$ ssh hadoop103 退回hadoop102 [user@hadoop103 ~]$ exit 2、配置（1）生成公钥和私钥 [user@hadoop102 .ss 阅读全文

posted @ 2024-09-12 17:29 一年都在冬眠阅读(40) 评论(0) 推荐(0)

Hadoop（四）生产集群搭建（一）

摘要：生产集群搭建 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式本地模式（官方WorldCount）单机运行，生产环境不用数据存储在Linux本地例子：使用 Hadoop 运行一个 MapReduce 程序来执行词频统计 1、在hadoop-3.1.3文件下面创建一个wcin 阅读全文

posted @ 2024-09-12 15:59 一年都在冬眠阅读(73) 评论(0) 推荐(0)

shihongpin

公告