摘要: HDFS主要是解决大数据如何存储问题的,分布式意味着HDFS是横跨在多台计算机上的存储系统。 HDFS设计目标: 1、硬件故障是常态,hdfs可能有成百上千的服务器组成,每一个组件都有可能出现故障,因此故障检测和自动快速恢复是hdfs的核心架构目标。 2、hdfs上的应用主要是以流式读取数据。hdf 阅读全文
posted @ 2022-03-17 16:20 小王同学学编程 阅读(259) 评论(0) 推荐(0)
摘要: hadoop允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。 hadoop核心组件: 1、HDFS(分布式文件存储系统):解决海量数据存储。 2、YARN(集群资源管理和任务调度框架):解决资源任务调度。 3、MapReduce(分布式计算框架):解决海量数据计算。 提示:ha 阅读全文
posted @ 2022-03-17 10:06 小王同学学编程 阅读(156) 评论(0) 推荐(0)
levels of contents