2023年2月17日
HDFS读写数据流程
摘要： 文件写入 （1）HDFSClient上传文件到集群，HDFSClient会创建本地的分布式文件系统（Distributed FileSystem），向集群NameNode请求上传文件 （2）NameNode检查目录树是否允许创建文件，检查权限，检查目录结构。然后给客户端做出响应。 （3）若响应可以上 阅读全文
posted @ 2023-02-17 12:42 几人著眼到青衫 阅读(55) 评论(0) 推荐(0)
HDFS文件块
摘要： 知识点补充 HDFS优缺点： 优点 （1）高容错性。节点存放的副本比较多。 （2）适合处理大数据。 GB、TB、PB级别的数据都可以处理。 （3）可以构建在廉价的机器上，通过多副本机制来提高可靠性。 缺点 （1）不是低延时数据的处理，如毫秒级的数据操作（mysql） （2）无法高效地对大量小文件进行 阅读全文
posted @ 2023-02-17 12:14 几人著眼到青衫 阅读(111) 评论(0) 推荐(0)