摘要: HDFS读数据流程简述 详细说明: HDFS写入数据简述: 详细说明: 1、使用 HDFS 提供的客户端 Client,向远程的 namenode 发起 RPC 请求; 2、namenode 会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会 为文件创建一个记录,否则会让客户端抛出异 阅读全文
posted @ 2018-12-26 17:24 k_q 阅读(5236) 评论(0) 推荐(0) 编辑
摘要: HDFS设计思想来源于Google三大论文之一的GFS 设计思想 分而治之:将大文件、大批量文件,分布式放在大量服务器上,以便于采取分而治之的方式对海量数据进行预算分析; 在大数据系统中的作用:为各类分布式运算框架(如:MapReduce,Spark等)提供数据存储服务 重要概念:文件切块,副本存放 阅读全文
posted @ 2018-12-25 22:55 k_q 阅读(3590) 评论(0) 推荐(0) 编辑