云端翱翔

摘要：经过前三篇博客的介绍，关于文档相似度的分析已经基本结束了，下面做下总结。 此处给出一个完整的相似项发现方法： 首先找出可能的候选对相似文档集合，然后基于该集合发现真正的相似文档。必须强调的是，这种方法可能会产生伪反例，即某些相似文档对由于没有进入候选对所以最终没有被识别出来。... 阅读全文

摘要：此篇博客将会接着上一篇博客继续文档相似度的分析。在上篇博客中我们已经可以利用最小哈希签名对文档间的相似度进行分析了，但是我们应该要发现，及时可以使用最小哈希签名将大文档压缩成小的签名同时保持任意对文档之间的预期相似度，但是高效寻找具有最大相似度的问的那个对仍是不可能的。主要原因在于... 阅读全文

摘要：接着上一篇的博客继续下去，这篇博客主要讲下最小哈希签名的东西。 对于上篇博客中提到的shingle，可以说是在压缩数据量的基础上又尽可能保留了源文档的特征，以便于后面对不同的文档进行相似度比较。但是我们会发现，shingle集合非常大，即使将每个shingle... 阅读全文

摘要：在当今的计算机高速发展的时代，对于文章的查重等涉及到数据比对的需求越来越高了。 为了识别字面上相似的文档，日常生活中我们所做的就是比对两个文档中相似的语句的比重，如果大部分内容都是相同的话，那么我们就会判定这两篇文档很大程度上是有抄袭嫌疑的。其实这个过程完全是可以类比到计算中来的，... 阅读全文