摘要：记得以前有人问过我，网页去重算法有哪些，我不假思索的说出了余弦向量相似度匹配，但如果是数十亿级别的网页去重呢？这下糟糕了，因为每两个网页都需要计算一次向量内积，查重效率太低了！我当时就想：论查找效率肯定是要考虑hash算法，相同字符串的hashcode肯定相同，不同字符串的hashcode却是大不相 阅读全文