摘要: Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操作系统之上的应用程序Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操 阅读全文
posted @ 2021-10-20 20:14 cos晓风残月 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 分布式文件系统: 统一管理分布在集群上的文件系统 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 重点概念:文件切块, 阅读全文
posted @ 2021-10-20 20:01 cos晓风残月 阅读(199) 评论(0) 推荐(0) 编辑
*