摘要: 预先为每个URL计算好PageRank值,并将计算结果保存到数据表中,该函数会在每次执行期间重新计算所有的pageRank值该函数最初将每个网页的PageRank值设为1,然后遍历每个URL,并针对每个外部回指链接,得到其pagerank值与链接的总数,并以粗体显示代码行给出的应用与每个外部链接的计... 阅读全文
posted @ 2014-06-12 17:02 曹守鑫 阅读(1764) 评论(0) 推荐(0) 编辑
摘要: 1、MapReduce中数据流动(1)最简单的过程:map-reduce(2)定制了partitioner以将map的结果送往指定reducer的过程: map-partition-reduce(3)增加了在本地先进性一次reduce(优化)过程: map-combin(本地reduce)-part... 阅读全文
posted @ 2014-06-12 09:11 曹守鑫 阅读(462) 评论(0) 推荐(0) 编辑