摘要:
HDFS是一个分布式文件存储系统,适合一次写入,多次写出,且不支持文件修改 结构: NameNode(NN):就是master 他是一个管理者 1、管理HDFS的命名空间 2、配置副本策略 3、管理数据块映射信息 4、处理客户端读写请求 DataNode(DN):就是salve NameNode下达 阅读全文
posted @ 2022-11-28 21:58
先生小凯
阅读(165)
评论(0)
推荐(0)
摘要:
MapReduce是一个分布式运算程序的编程框架,其核心功能是将用户编写的业务逻辑代码和自身的组件整合成 一个完整的分布式运算程序 并发运行在一个hadoop集群上 优点: 1、易于编程 实现一些简单的接口就可以实现一个分布式车程序 2、良好的扩展性 可以通过简单的扩充机器来扩展计算能力 3、高容错 阅读全文
posted @ 2022-11-28 21:52
先生小凯
阅读(128)
评论(0)
推荐(0)
摘要:
Hadoop是一个支持海量数据的分布式存储和分布式计算的平台 包含: HDFS YARN MapReduce 分布式管理系统(HDFS) 主要就是把数据存放在多态服务器上 是MapReduce的基础 文件切分 文件存放在一个磁盘上效率是最低的 读取效率低 文件特别大会超出单击的存储范围 文件磁盘上以 阅读全文
posted @ 2022-11-28 21:41
先生小凯
阅读(33)
评论(0)
推荐(0)