liuxiaopang
减肥路漫漫,编程遥无期
摘要: Hive主要为了简化MapReduce流程,使非编程人员也能进行数据的梳理,即直接使用sql语句代替MapReduce程序 Hive建表的时候元数据(表明,字段信息等)存于关系型数据库中,数据存于HDFS中。 此元数据与HDFS中的元数据需要区分清楚,HDFS中元数据(文件名,文件长度等)存于Nam 阅读全文
posted @ 2018-05-17 17:27 liuxiaopang 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 1. 介绍 YARN(Yet Another Resource Negotiator)是一个通用的资源管理平台,可为各类计算框架提供资源的管理和调度。 之前有提到过,Yarn主要是为了减轻Hadoop1中JobTracker的负担,对其进行了解耦。现在通常都会使用Hadoop Yarn,因为其稳定性 阅读全文
posted @ 2018-05-17 16:46 liuxiaopang 阅读(268) 评论(0) 推荐(0) 编辑