随笔分类 -  搜索引擎

摘要:综述 在进行搜索的时候,文档中的同一个词往往有多种表达方法,这种现象叫做同义词。比如用户输入"充电宝",而文档里有"移动电源",这时如果搜索系统没有做查询优化的话用户是不能找到相关文档的。由此我们引出查询优化的概念。 查询优化方法大体可以分为两类: 1. 全局方法 :在不考虑原始查询初始返回文档的情 阅读全文
posted @ 2017-05-10 14:24 叫我家宝 阅读(4190) 评论(0) 推荐(1)
摘要:测试数据集 1. 一个文档集 2. 一组用于测试的信息需求集合,信息需求可以表示为查询 3. 一组相关性判定结果,对应每个查询 文档,通常会赋予一个二值判定结果: 相关/不相关 经验发现一般测试的查询数应 =50。 无序检索结果的评价 准确率和召回率 对于一个查询,根据其返回结果可以将整个文档集划分 阅读全文
posted @ 2017-05-09 15:49 叫我家宝 阅读(2995) 评论(0) 推荐(1)
摘要:索引压缩的作用 词典压缩 笔者认为词典压缩算法对中文搜索来说意义不大。之所以要压缩词典,主要是因为Heaps定律指出,随着文档数目的增加,词汇表会持续增长而不会稳定到一个最大值。而中文分词与英文分词的不同在于中文分词是基于词典的,词汇主要来源于词典,因此除非有新词挖掘算法不断扩充词典,否则索引中的中 阅读全文
posted @ 2017-04-12 10:54 叫我家宝 阅读(634) 评论(0) 推荐(0)