meiLinYa - 博客园

摘要：彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转... 阅读全文

posted @ 2018-06-28 17:00 meiLinYa 阅读(369) 评论(0) 推荐(0)

摘要： MapReduce(四) 1.shuffle过程 2.map中setup,map,cleanup的作用。一.shuffle过程 https://blog.... 阅读全文

posted @ 2018-06-28 16:25 meiLinYa 阅读(146) 评论(0) 推荐(0)

摘要：报错，但不影响运行ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2eclipse 3.4+jdk1.6编译正常通过，运行debug模式时报错ERROR: JDWP... 阅读全文

posted @ 2018-06-28 09:25 meiLinYa 阅读(465) 评论(0) 推荐(0)

摘要： MapReduce(三)MapReduce(三)： 1.关于倒叙排序前10名 1）TreeMap根据key排序 2）TreeSet排序,传入一个对... 阅读全文

posted @ 2018-06-27 11:57 meiLinYa 阅读(177) 评论(0) 推荐(0)

摘要： CompareTo 基于的排序算法(高级排序) 这个是今天学习MapReduce时发现的，自定义类后实现了WritableComparable接口后实现了接口中的co... 阅读全文

posted @ 2018-06-26 21:47 meiLinYa 阅读(367) 评论(0) 推荐(0)

摘要： MapReduce- 数据的排序处理package com.huhu.day02;import java.io.DataInput;import java.io.DataOutput;import java.io... 阅读全文

posted @ 2018-06-26 20:19 meiLinYa 阅读(375) 评论(0) 推荐(0)

摘要： MapReduce（二）mapreduce 将Text转化为对象进行处理数据。根据一来说，将date，classname，name，subject，score变为对象属性我的数据是... 阅读全文

posted @ 2018-06-26 19:31 meiLinYa 阅读(148) 评论(0) 推荐(0)

摘要： MapReduce--平均分，最高，低分以及及格率的计算计算班级的平均分，以及个人的最高最低分，以及每个班级的及格率。来先看一下我的数据。时间班级姓名科目成绩20180501 1708a1 li ... 阅读全文

posted @ 2018-06-26 14:23 meiLinYa 阅读(764) 评论(0) 推荐(0)

摘要： MapReduce(一)一。介绍百度百科： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它... 阅读全文

posted @ 2018-06-25 21:22 meiLinYa 阅读(180) 评论(0) 推荐(0)

摘要： fatal: refusing to merge unrelated histories（git上传失败）输入命令：git pull origin master --allow-unrelated-histories这是因为远程仓库or... 阅读全文

posted @ 2018-06-25 11:25 meiLinYa 阅读(96) 评论(0) 推荐(0)