摘要: mapreduce编程准备 学习mapreduce编程之前需要做一些概念性的了解,这是做的一些课程学习笔记,以便以后时不时的翻出来学习下,之前看过一篇文章大神们都是时不时的翻出基础知识复习下,我也做点笔记吧。 1.mapreduce定义 源于Google的MapReduce论文(如果想更深入的学习, 阅读全文
posted @ 2017-03-08 15:58 楚时邀月 阅读(1366) 评论(0) 推荐(0) 编辑
摘要: mapreduce指定参数 mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整 1.指定运行时cpu的个数 -D mapreduce.map.cpu.vcores=2 :指定这个mapreduce任务运行时cpu的个数 /home/input :指定的输入hd 阅读全文
posted @ 2017-03-08 14:34 楚时邀月 阅读(6864) 评论(0) 推荐(1) 编辑