川山甲

追求内心的非常平静!瞬间清空所有的杂念,达到物我两忘!

  博客园 :: 首页 ::  :: 联系 :: 订阅 订阅 :: 管理

公告

 
背景
  
 
  提升产品体验,节省用户感知度。——想想,如果看到一堆相似性很高的新闻,对于用户的留存会有很大的影响。
 
 
技术方案1、信息指纹算法
  
  思路:为每个网页计算出一组信息指纹(Fingerprint)。比较两个网页相同信息指纹数量,从而判断内容的重叠性。
 
  步骤:
    1)提取网页正文信息特征(通常是一组词),并进行向量化处理(权重算法:如nf/df)。
    2)取前N个信息特征,进行MD5哈希,得到信息指纹。 优点:算法简单、工程好落地,不会受大数量问题影响。
 
 
技术方案2、分段签名算法
 
  算法思路:按规则把网页切成N段,为每一段生成信息指纹。如果这N个信息指纹里面,有M个(阈值)相同, 则认为两者是复制网页。
  缺点:小规模比较是很好的算法,对于大规模数据来说,算法复杂度相当高。
 

 
技术方案3、4
 
 
  方案3、基于关键词的复制网页算法
  方案4、基于句子的方式 算法思路:获取标点符号左右两边各2个汉子或英文作为特征,来进行文本表示。
 
 

 
技术方案5  SimHash——最终方案
 
 
  SimHash:局部敏感哈希(locality sensitive hash)
 
  背景介绍:simhash是由 Charikar 在2002年提出来的!
 
  算法思路:主要思想是降维,为每个文档通过hash的方式,生成一个指纹(fingerprint)。
 
  核心思想是将文本相似性问题转换为集合的相似性问题!
 
  设计的目的:是让整个分布尽可能地均匀,形似的内容生成相近的hashcode。——即,hashcode的相似程度要 能直接反应输入内容的相似程度(所以md5等传统hash无法满足需求)。
 
  使用方:Google基于此算法实现网页文件查重。
 
  优点:相对传统文本相似性方法(欧氏距离、海明距离、余弦角度),解决计算量庞大等问题。
 
  缺点:500字以上效果比较明显500字以内,效果不是很理想,可以调整海明距离的n值来调整(3升级为10)
 
 
 
SimHash算法原理
 
  1)分词:提取网页正文信息特征词,形成去掉噪音词(助词、语气词、人称代词)的单词序列,并为每个词加上权重(词出现次数)。
 
     抽取方式:
       1.1. 剔除所有英文、数字、标点字符
       1.2.分词,并标注词性,仅保留实体词性,如名词、动词;(技巧一!)
       1.3.过滤掉常用实体词(常用实体词是通过对历史锐推训练而得,即建立自己的停止词表);(技巧二!)
       1.4.计算保留实体词的词频,并以此为权重,选择权重大的词语作为标签;
        1.5.标签数组长度大于一个阈值(如3),才认为是有信息量的锐推,否则忽略。(技巧三!)  
     —其他简单方案:
       百度大搜的去重算法比较简单,就是直接找出此文章的最长的n句话,做一遍hash签名。n一般取3。
      工程实现巨简单,据说准确率和召回率都能到达80%以上。
  2)hash及加权:
     对于提取的信息特征词进行hash值运算,转变成bit值,根据每个位是否为1,进行权重加减处理。
     权重设定:词频+词位置
  3)合并及降维:每个单词的序列值累加,变成只有一个序列串。大于0 记为1,小于0记为0.
 
 
 
SimHash算法原理——图例
 
 

 


 
SimHash 海明 (Hamming)距离
 
  1、海明距离阈值选择
       模型效果:标题阈值、内容阈值
       距离选择,考虑因素:除考虑数据效果之外,还得考虑工程查询效率。
 
  2、提高性能的方式:
       把64为simHash码均分为汉明距离n+1块,方便后续查找所有临近simHash码。
 
 


 
SimHash 海明 (Hamming)距离(一)

 

 第一种是方案是查找待查询文本的64位simhash code的所有3位以内变化的组合,大约需要四万多次的查询,参考下图:

 


 
SimHash 海明 (Hamming)距离(二)

 

第二种方案是预生成库中所有样本simhash code的3位变化以内的组合,大约需要占据4万多倍的原始空间,参考下图

 

 


 
SimHash 海明 (Hamming)距离一、二方案分析

 

上述两种方法,或者时间复杂度,或者空间复杂度,其一无法满足实际的需求。我们需要一种方法,其时间复杂度优于前者,空间复杂度优于后者。 假设我们要寻找海明距离3以内的数值,根据抽屉原理,只要我们将整个64位的二进制串划分为4块,无论如何,匹配的两个simhash code之间至少有一块区域是完全相同的,如图所示

 

 

 


 
SimHash 海明 (Hamming)距离(三)

 

  由于我们无法事先得知完全相同的是哪一块区域,因此我们必须采用存储多份table的方式。在本例的情况下,我们需要存储4份table,并将64位的simhash code等分成4份;对于每一个输入的code,我们通过精确匹配的方式,查找前16位相同的记录作为候选记录,如图所示:

 

 

 

  让我们来总结一下上述算法的实质:

    1、将64位的二进制串等分成四块

      2、调整上述64位二进制,将任意一块作为前16位,总共有四种组合,生成四份table

      3、采用精确匹配的方式查找前16位

    4、如果样本库中存有2^34(差不多10亿)的哈希指纹,则每个table返回2^(34-16)=262144个候选结果,大大减少了海明距离的计算成本

 

  我们可以将这种方法拓展成多种配置,不过,请记住,table的数量与每个table返回的结果呈此消彼长的关系,也就是说,时间效率与空间效率不可兼得! 这就是Google每天所做的,用来识别获取的网页是否与它庞大的、数以十亿计的网页库是否重复。另外,simhash还可以用于信息聚类、文件压缩等。

 

 

  

 

SimHash 算法原理

  

  simhash用于比较大文本,比如500字以上效果都还蛮好,距离小于3的基本都是相似,误判率也比较低。但是如果我们处理的是微博信息,最多也就140个字,使用simhash的效果并不那么理想。看如下图,在距离为3时是一个比较折中的点,在距离为10时效果已经很差了,不过我们测试短文本很多看起来相似的距离确实为10。如果使用距离为3,短文本大量重复信息不会被过滤,如果使用距离为10,长文本的错误率也非常高,如何解决?——采用分段函数!

 

  

 

 

 

SimHash 算法原理——评估结果

  1、dump 一天的新闻数据:

     数据项要求:标题、内容、新闻原始地址。

 

  2、评估指标

     排重准确率(97%): 数据集:排重新闻集

     方式:人工(研发先评估、产品评估)

     召回率(75%):

         数据集:训练数据集-排重新闻集

         方式:扩大海明距离,再进行人工评估

 

 

SimHash 算法原理——代码片段

 

  高效计算二进制序列中1的个数:这个函数来计算的话,时间复杂度是 O(n); 这里的n默认取值为3。由此可见还是蛮高效的。

 

 

 


 
参考资料

 

中文文档simhash值计算

网页文本的排重算法介绍

海量数据相似度计算之simhash和海明距离

短文本合并重复(去重)的简单有效做法

海明距离查询方案

 


 

推荐
 
 
 
 
posted on 2018-05-25 16:24 川山甲 阅读(...) 评论(...) 编辑 收藏