摘要：环境准备 1. 本地客户机 idea新建maven工程 配置maven依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version 阅读全文

摘要：HDFS设计（Architecture） 1. 简介 HDFS具有高容错性，设计用于低成本的硬件设备 迅速发现错误，自动恢复是hdfs的核心设计目标 擅长批处理数据而不是数据的低延时获取 一次写入，多次读取；一个文件在创建后只能进行追加和截断操作而不能被更改；这一理念非常适用于MapReduce程序 阅读全文

摘要：写文件（create) 过程 hdfs客户端通过DistributedFileSystem模块调用create() 来新建文件，对namenode创建一个RPC调用，请求在系统的命名空间中新建一个文件。 namenode检查是否有此目录，以及是否客户有权限，通过则创建新文件，并向客户端返回一个FSD 阅读全文