文章分类 -  MapReduce和Yarn

ResourceManager的HA配置
摘要：HDFS的NameNode类似，如果Yarn的ResourceManager挂掉了怎么办，我们需要配置ResourceManager的高可用性（一个挂掉，另一个可以接着起来干活），这里同样可以使用Zookeeper的master选举机制来实现 1、保证zookeeper服务正常，分别到master、 阅读全文
posted @ 2019-02-27 17:04 AntarcticPenguin 阅读(1156) 评论(0) 推荐(0)
Yarn Capacity Scheduler配置
摘要：我们开辟出两个队列，一个是生产上需要的队列prod，一个是开发上需要的队列dev，开发下面又分了eng工程师和science科学家，我们这样就可以指定队列 1、关闭yarn, stop-yarn.sh 2、先备份$HADOOP_HOME/etc/hadoop/capacity-scheduler.x 阅读全文
posted @ 2019-02-27 17:03 AntarcticPenguin 阅读(1644) 评论(0) 推荐(0)
Yarn Fair Scheduler配置
摘要：1、先关闭yarn, stop-yarn.sh 2、开启fair机制：在yarn-site.xml中配置： <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.serve 阅读全文
posted @ 2019-02-27 17:03 AntarcticPenguin 阅读(1961) 评论(0) 推荐(0)
Yarn的三种资源调度机制
摘要：在企业中并不是只有一个人来执行MapReduce程序单独使用Yarn的资源，实际开发中，会有很多人一起使用Yarn这个资源，如果每个人都提交了job，这个时候Yarn就需要进行调度去分配资源给job， 下面三种调度机制，默认的是FIFO机制，这种机制是先进先出队列机制，在企业中基本不会使用，第二种机 阅读全文
posted @ 2019-02-27 17:02 AntarcticPenguin 阅读(2866) 评论(0) 推荐(0)
HDFS中两个集群数据文件拷贝的方式
摘要：在不同的两个HDFS集群中拷贝数据，我们可以使用distcp，集群之间拷贝数据的正确姿势是： hadoop distcp hdfs://master1:9999/foo/bar hdfs://master2:9999/bar/foo 上面的意思是将集群master1上的文件foo/bar拷贝到mas 阅读全文
posted @ 2019-02-27 17:01 AntarcticPenguin 阅读(2775) 评论(0) 推荐(1)
Hadoop压缩机制的了解
摘要：通过一定的算法对数据进行特殊编码，使得数据占用的存储空间比较小，这个过程我们称之为压缩，反之为解压缩 不管哪种压缩工具都需要权衡时间和空间 在大数据领域内还要考虑压缩文件的可分割性 Hadoop支持的压缩工具有：DEFLATE、gzip、bzip以及Snappy 压缩与解压：CompressTest 阅读全文
posted @ 2019-02-27 17:01 AntarcticPenguin 阅读(469) 评论(0) 推荐(0)
MR内存cpu资源配置
摘要：向MR申请的内存默认是1024，但不想用默认的内存分配，如何配置？ 内存分配配置 在mapred-site.xml中增加如下配置： <property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1200</value> <descr 阅读全文
posted @ 2019-02-27 17:00 AntarcticPenguin 阅读(776) 评论(0) 推荐(0)

//开启礼花特效的js