摘要: 一、什么是Yarn YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的 阅读全文
posted @ 2019-03-25 11:32 流氓小伙子 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 转载:Hive 性能优化 介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作 阅读全文
posted @ 2019-03-25 10:41 流氓小伙子 阅读(412) 评论(0) 推荐(0) 编辑