搜索引擎闲话

注:这两年做数据仓库以及数据处理,发现其实很多搜索中的东西在数据处理、adhoc等一些场景中也是同样适用的,淘宝的mkdrill其实就是将分布式搜索引擎用来做数据的检索(原始数据很大但是结果集很小的场景)。  

将自己前两年做搜索的流程以及中的问题整理整理下,先写个框架,后续会慢慢更新~~  再不写,真的就忘了 

新闻抓取spider

解析parse

结构化

去重

索引index 

倒排索引

正排文本k-v存储

检索search

常用检索方式

排序vsm的cos相似

优化的过滤以及范围查询

高亮

正排索引存储

分布式索引

 

posted @ 2014-05-12 10:20  xiao晓  阅读(193)  评论(2编辑  收藏  举报