摘要：前几天写dijkstra算法，想到了最小堆。今天整理了一下。发了出来。还是本着说明天的原则。代码没有进行压缩。 最小堆： 1、用数组表示时，假设当前根节点的下标为i ， 则其两个子节点的下标分别为 2*i + 1 与 2*i + 2 2、最小堆的根节点的值小于其子节点的值，且其子节点与其对... 阅读全文

摘要：前一阵子有一个学弟问kmeans算法的初始中心点怎么选，有没有什么算法。我让他看看kmeans++，结果学弟说有地方没看懂。然后，他不懂的地方，我给标注了一下。 下面是网上的资料，我对画线的地方做了标注。 k-means++算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的 阅读全文

摘要：今天又翻了翻算法导论，看了看dijstra算法。兴趣来了就实现了下。完全按照书上的步骤实现，没有使用最小堆等数据结构，使用的邻接表方式表示图。因此实现的算法效率很抵，不过这里只是想通过程序来说明这个算法。不是工程上用的。如果工程上使用，最好用矩阵表示图，然后再使用最小堆。。。。不多说了，直接上代码。... 阅读全文

摘要：InputSplit inputSplit = context.getInputSplit();String fileName = ((FileSplit) inputSplit).getPath().getName(); 阅读全文

摘要：用mr处理大数据经常遇到数据不平衡的情况，这里的数据不平衡指的是，数据中有少部分key集中了大量的数据，导致其它的reduce都运行完了，只剩几个reduce在跑。这种情况一般有如下三种解决方法(原理都差不多)。1、重写partitioner 如果一个key对应的数据过过，那么可以在partiti... 阅读全文

摘要：partitioner 是map中的数据映射到不同的reduce时的根据。一般情况下，partitioner会根据数据的key来把数据平均分配给不同的reduce，同时保证相同的key分发到同一个reduce。但当一个数据不平衡时，即某个key对应的数据量太大，导致reduce的空间不够，或者计... 阅读全文

摘要：如果job 设置了 combiner ，则job的每个map运行的数据会先进入combiner,然后再通过patitioner分发到reduce。通过combiner能减少reduce的计算、空间压力。其实combiner就是继承了Reducer类了一个子类，运行在map排序后的输出上。可以理解... 阅读全文