随笔分类 -  MapReduce相关

学习总结
使用MapReduce进行排序
摘要：之前在工作中使用到过MapReduce的排序，当时对于这个平台的理解还比较浅显，选择的是一个最为简单的方式，就是只用一个Recude来做。因为Map之后到Reduce阶段，为了Merge的方便，MapReduce的实现会自己依据key值进行排序，这样得出的结果就是一个整体排序的结果。而如果使用超过一个Reduce任务的话，所得的结果是每个part内部有序，但是整体是需要进行merge才可以得到最终... 阅读全文
posted @ 2010-11-24 20:37 funnydavid 阅读(14073) 评论(3) 推荐(3)
从Hadoop看普通算法在一个系统中的应用
摘要：之前看了一些简单的算法题目，感觉很有意思，而在自己做的工程项目开发过程中，却又感觉很少用到，大约是所做的工程太过于简单的缘故吧。最近在读《Hadoop权威指南》那本书，从中看到了不少算法的应用，举两个简单的例子来说。 1.寻找最近的备份数据。 在Hadoop中，用户可以指定要数据的备份数目，比如默认default的备份数目是3。那么在读取数据时，如果发现某个结点的数据已经损坏，则需要从另外的备份中... 阅读全文
posted @ 2010-11-24 10:43 funnydavid 阅读(2152) 评论(0) 推荐(0)