回眸,境界 - 博客园

摘要： Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算法，分到固定的区域中，给... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(158) 评论(0) 推荐(0)

摘要： JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的，这时去学习一下他在宏观层面的原理实现也是对我们非常有帮助的。首先我们又得从上... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(91) 评论(0) 推荐(0)

摘要：花了大约1周的时间，终于把MapReduce的5大阶段的源码学习结束掉了，收获不少，就算本人对Hadoop学习的一个里程碑式的纪念吧。今天花了一点点的时间，把MapReduce的最后一个阶... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(73) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(100) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(168) 评论(0) 推荐(0)

摘要：今天在看排序算法的时候，看到了用位示图法实现的，上面说可以大大减少内存的使用，尤其针对大数据的存储，数据量非常大的的时候，他的优点就比较明显了，因为他存储数据值依靠1个位来表示。具体是怎么回事... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(151) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(138) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(412) 评论(0) 推荐(0)

摘要：在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业会以JobInProgres... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(64) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(139) 评论(0) 推荐(0)

Tippy