摘要：说到文本相似性计算，大家首先想到的应该是使用向量空间模型VSM（Vector Space Model）。使用VSM计算相似度，先对文本进行分词，然后建立文本向量，把相似度的计算转换成某种特征向量距离的计算，比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题：需要对文本两两进行相似度比较，无法扩展到海量文本的处理。想想像Google这种全网搜索引擎，收录了上百亿的网页，爬虫每天爬取的网页数都是百万千万级别的。为了防止重复收录网页，爬虫需要对网页进行判重处理。如果采用VSM方法，计算量是相当可观的。 这里介绍的SimHash算法很好的解决了VSM方法的缺陷，该方法最初... 阅读全文

摘要：1.概述跟SimHash一样，MinHash也是LSH的一种，可以用来快速估算两个集合的相似度。MinHash由Andrei Broder提出，最初用于在搜索引擎中检测重复网页。它也可以应用于大规模聚类问题。2.Jaccard index 在介绍MinHash之前，我们先介绍下Jaccard index。 Jaccard index是用来计算相似性，也就是距离的一种度量标准。假如有集合A、B，那么， 也就是说，集合A,B的Jaccard系数等于A,B中共同拥有的元素数与A,B总共拥有的元素数的比例。很显然，Jaccard系数值区间为[0,1]。3.MinHash 先定义几个符号术语... 阅读全文

摘要：问题描述： 给定一个字符串S=A1A2...An，要求找出其最长回文子串（Longest Palindromic Substring）。所谓回文子串就是S的某个子串Ai...Aj为回文。例如，对字符串S=abcdcbeba，它的回文子串有：bcdcb，cdc，beb，满足题目要求的最长回文子串为bcdcb。推理思路：1.由于回文可能由奇数个字符组成，也可能由偶数个字符组成。对奇数回文的处理比较直观，只需要以某个字符为中心，依次向两边扩展即可。因此，我们可以通过如下方式把对偶数回文的处理转换成对奇数回文的处理：在字符边界添加特殊符号。例如，对字符串aba，预处理后变成#a#b#a#；对字符串ab 阅读全文