摘要：
以spark1.6为例，使用内存和CPU的无外乎三个:appMaster、driver、executor，下面分别分析spark on yarn的client与cluster模式下的内存和CPU分配一、vcores1、driver核数: client模式:无 cluster模式:spark.driv 阅读全文
posted @ 2018-12-16 16:16
耿廑
阅读(1605)
评论(1)
推荐(0)
摘要：
一、现象描述 比如提交命令： 阅读全文
posted @ 2018-12-15 23:09
耿廑
阅读(2034)
评论(0)
推荐(0)
摘要：
CDH版本：5.10.0 IDE环境：win7 64位 MyEclipse2015 spark模式：yarn 提交模式：yarn-client 之前同样的IDE环境下，向alone模式的spark提交任务，一直很顺利，今天测了一下spark on yarn模式，提交只能是yarn-client模式， 阅读全文
posted @ 2017-03-17 18:24
耿廑
阅读(1661)
评论(1)
推荐(1)
摘要：
之前在项目上用的是CDH5.5.2，用MyEclipse2015提交的mapreduce任务，当然win7下也要配置虚拟的hadoop环境，win7下的插件版本都是hadoop2.6版本的，因为CDH5.5.2对应的就是hadoop2.6，如下图插件: 回公司后，在公司的服务器上搭建了一个我自己的C 阅读全文
posted @ 2017-03-15 15:27
耿廑
阅读(295)
评论(0)
推荐(0)
摘要：
一、先看简单理解 对于hadoop的map端配置项"mapreduce.task.io.sort.mb"和"mapreduce.map.sort.spill.percent"应该都比较熟悉了，如图解释(http://hadoop.apache.org/docs/current/hadoop-mapr 阅读全文
posted @ 2017-01-13 16:15
耿廑
阅读(2304)
评论(0)
推荐(0)
摘要：
关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个资料都不能很好的理解透彻。于是，最近查了大量的资料，综合各种解释，终于理解到了一个比较清晰的程度，在这里将理解的东西做一个简单的记录，以备忘却。首先，先将关于mapreduce和yarn关于内存分配的参数粘 阅读全文
posted @ 2017-01-11 17:10
耿廑
阅读(7468)
评论(3)
推荐(1)
摘要：
查看日志错误信息关键语句： There appears to be a gap in the edit log. We expected txid 44353, but got txid 原因： namenode源数据破坏 解决方法： hadoop namenode -recover 然后再启动成功 阅读全文
posted @ 2016-07-28 16:12
耿廑
阅读(402)
评论(0)
推荐(0)
浙公网安备 33010602011771号