2014年6月12日
pageRank---python实现
摘要： 预先为每个URL计算好PageRank值，并将计算结果保存到数据表中，该函数会在每次执行期间重新计算所有的pageRank值该函数最初将每个网页的PageRank值设为1，然后遍历每个URL，并针对每个外部回指链接，得到其pagerank值与链接的总数，并以粗体显示代码行给出的应用与每个外部链接的计... 阅读全文
posted @ 2014-06-12 17:02 曹守鑫 阅读(1782) 评论(0) 推荐(0)
Hadoop Mapreduce分区、分组、二次排序过程详解[转]
摘要： 1、MapReduce中数据流动（1）最简单的过程：map-reduce（2）定制了partitioner以将map的结果送往指定reducer的过程：　map-partition-reduce（3）增加了在本地先进性一次reduce（优化）过程：　map-combin(本地reduce)-part... 阅读全文
posted @ 2014-06-12 09:11 曹守鑫 阅读(474) 评论(0) 推荐(0)