2020年7月2日
Yarn【架构、原理、多队列配置】
摘要： 一.什么是yarn ​ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 二.yarn的基本架构和角色 yarn主要由ResourceManager、NodeManager、Applic 阅读全文
posted @ 2020-07-02 16:50 来自遥远的水星 阅读(5901) 评论(0) 推荐(0)
Hive(十二)【调优】
摘要： 1.Fetch抓取 Fetch抓取：Hive中对某些情况的查询可以不必使用MapReduce计算。 例如：SELECT * FROM emp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。 在%HIVE_HOME%/conf/hive-default.x 阅读全文
posted @ 2020-07-02 14:13 来自遥远的水星 阅读(254) 评论(0) 推荐(0)
Hive(十一)【压缩、存储】
摘要： 一.Hadoop的压缩配置 1.MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 阅读全文
posted @ 2020-07-02 11:06 来自遥远的水星 阅读(233) 评论(0) 推荐(0)