摘要：
ResourceManager相关配置参数yarn-site.xml 中配置yarn.resourcemanager.addressResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostn... 阅读全文
posted @ 2015-12-16 23:24
【雨歌】
阅读(506)
评论(0)
推荐(0)
摘要：
项目打包后执行报错：Configuration problem: Unable to locate Spring NamespaceHandler for XML schema namespacehttp://www.springframework.org/schema/tx直接执行main类没问题... 阅读全文
posted @ 2015-12-09 15:08
【雨歌】
阅读(8895)
评论(1)
推荐(1)
摘要：
1. 在CM中主机页里，选定要删除的服务器，选择操作“从群集中删除”。2. 登录到主机，执行chkconfig，显示有cloudera-scm-agent服务，执行service cloudera-scm-agent stop，将cm 的agent服务停掉，否则如果agent继续发送心跳，则CM又会... 阅读全文
posted @ 2015-11-13 11:12
【雨歌】
阅读(509)
评论(0)
推荐(0)
摘要：
用例场景： 定时从远程多台机器上下载文件存入HDFS中。一开始采用shell 一对一的方式实现，但对于由于网络或者其他原因造成下载失败的任务无法进行重试，且如果某台agent机器down机，将导致它对应的所有下载服务中断，重新提交下载任务也极为麻烦。故考虑采用redis队列来实现与机器无关的job提... 阅读全文
posted @ 2015-09-17 14:39
【雨歌】
阅读(569)
评论(0)
推荐(0)
摘要：
1. RDD是什么RDD：Spark的核心概念是RDD (resilient distributed dataset)，指的是一个只读的，可分区的弹性分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间可重复使用。2. 为什么会产生RDD？（1）传统的MapReduce虽然具有自动容错... 阅读全文
posted @ 2015-09-16 17:32
【雨歌】
阅读(1683)
评论(0)
推荐(1)
摘要：
占坑 阅读全文
posted @ 2015-09-07 17:58
【雨歌】
阅读(226)
评论(0)
推荐(0)
摘要：
占坑. 阅读全文
posted @ 2015-09-07 17:57
【雨歌】
阅读(171)
评论(0)
推荐(0)
摘要：
占坑。 阅读全文
posted @ 2015-09-07 17:56
【雨歌】
阅读(185)
评论(0)
推荐(0)
摘要：
在spark安装之前，应该已经安装了hadoop原生版或者cdh，因为spark基本要基于hdfs来进行计算。1. 下载spark： http://mirrors.cnnic.cn/apache//spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.3.tgzscal... 阅读全文
posted @ 2015-09-07 17:54
【雨歌】
阅读(559)
评论(0)
推荐(0)
摘要：
现象： 执行mapreduce任务时失败通过hadoop fsck -openforwrite命令查看发现有文件没有关闭。[root@com ~]# hadoop fsck -openforwrite /data/rc/click/mpp/15-08-05/DEPRECATED: Use of th... 阅读全文
posted @ 2015-08-06 17:22
【雨歌】
阅读(5112)
评论(0)
推荐(0)
浙公网安备 33010602011771号