2018 年 6月 28 日随笔档案 - meiLinYa

摘要：彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转... 阅读全文

posted @ 2018-06-28 17:00 meiLinYa 阅读(369) 评论(0) 推荐(0)

摘要： MapReduce(四) 1.shuffle过程 2.map中setup,map,cleanup的作用。一.shuffle过程 https://blog.... 阅读全文

posted @ 2018-06-28 16:25 meiLinYa 阅读(146) 评论(0) 推荐(0)

摘要：报错，但不影响运行ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2eclipse 3.4+jdk1.6编译正常通过，运行debug模式时报错ERROR: JDWP... 阅读全文

posted @ 2018-06-28 09:25 meiLinYa 阅读(465) 评论(0) 推荐(0)