摘要: 环境准备 1. 本地客户机 idea新建maven工程 配置maven依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version 阅读全文
posted @ 2021-11-18 11:48 somelovelanguage 阅读(89) 评论(0) 推荐(0)
摘要: HDFS设计(Architecture) 1. 简介 HDFS具有高容错性,设计用于低成本的硬件设备 迅速发现错误,自动恢复是hdfs的核心设计目标 擅长批处理数据而不是数据的低延时获取 一次写入,多次读取;一个文件在创建后只能进行追加和截断操作而不能被更改;这一理念非常适用于MapReduce程序 阅读全文
posted @ 2021-11-18 11:48 somelovelanguage 阅读(169) 评论(0) 推荐(0)
摘要: HDFS读写文件流程以及机架感知机制和副本存储策略 写文件(create) 过程 hdfs客户端通过DistributedFileSystem模块调用create() 来新建文件,对namenode创建一个RPC调用,请求在系统的命名空间中新建一个文件。 namenode检查是否有此目录,以及是否客户有权限,通过则创建新文件,并向客户端返回一个FSD 阅读全文
posted @ 2021-11-18 11:47 somelovelanguage 阅读(318) 评论(0) 推荐(0)
摘要: 反转链表 头插法 思路: 建立一个头结点newList 临时节点next保存原头节点head的下一个节点(保存其位置,为了使原头结点指向newList的第一个节点,并且不丢失原头结点head的下一个节点位置的信息) 断开newList与其下一个节点连接,中间插入原头结点(如此往复,可使新链表为原链表 阅读全文
posted @ 2021-11-18 11:46 somelovelanguage 阅读(37) 评论(0) 推荐(0)