MapReduce - 随笔分类 - meiLinYa

摘要：MapRdeuce&Yarn的工作机制一幅图解决你所有的困惑那天在集群中跑一个MapReduce的程序时，在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时Ya... 阅读全文

posted @ 2018-07-06 08:40 meiLinYa 阅读(1848) 评论(0) 推荐(0)

摘要：MapRedcue的演示（协同过滤）做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。百度百科：协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来... 阅读全文

posted @ 2018-07-02 15:18 meiLinYa 阅读(369) 评论(0) 推荐(0)

MapReduce(五)

摘要：MapReduce的（五）1.MapReduce的多表关联查询。根据文本数据格式。查询多个文本中的内容关联。查询。2.MapReduce的多任务窜执... 阅读全文

posted @ 2018-06-29 11:10 meiLinYa 阅读(208) 评论(0) 推荐(0)

摘要：彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转... 阅读全文

posted @ 2018-06-28 17:00 meiLinYa 阅读(375) 评论(0) 推荐(0)

MapReduce(四)

摘要：MapReduce(四) 1.shuffle过程 2.map中setup,map,cleanup的作用。一.shuffle过程 https://blog.... 阅读全文

posted @ 2018-06-28 16:25 meiLinYa 阅读(148) 评论(0) 推荐(0)

MapReduce(三)

摘要：MapReduce(三)MapReduce(三)： 1.关于倒叙排序前10名 1）TreeMap根据key排序 2）TreeSet排序,传入一个对... 阅读全文

posted @ 2018-06-27 11:57 meiLinYa 阅读(182) 评论(0) 推荐(0)

摘要：MapReduce- 数据的排序处理package com.huhu.day02;import java.io.DataInput;import java.io.DataOutput;import java.io... 阅读全文

posted @ 2018-06-26 20:19 meiLinYa 阅读(378) 评论(0) 推荐(0)

MapReduce（二）

摘要：MapReduce（二）mapreduce 将Text转化为对象进行处理数据。根据一来说，将date，classname，name，subject，score变为对象属性我的数据是... 阅读全文

posted @ 2018-06-26 19:31 meiLinYa 阅读(149) 评论(0) 推荐(0)

摘要：MapReduce--平均分，最高，低分以及及格率的计算计算班级的平均分，以及个人的最高最低分，以及每个班级的及格率。来先看一下我的数据。时间班级姓名科目成绩20180501 1708a1 li ... 阅读全文

posted @ 2018-06-26 14:23 meiLinYa 阅读(768) 评论(0) 推荐(0)

MapReduce(一)

摘要：MapReduce(一)一。介绍百度百科： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它... 阅读全文

posted @ 2018-06-25 21:22 meiLinYa 阅读(183) 评论(0) 推荐(0)

随笔分类 - MapReduce