2011-10-15 01:37 by yuejianjun, 67 visits, 网摘, 收藏, 编辑
摘要:集中、分布式搜索引擎的4种设计方案共1页 对于搜索引擎, 在索引量和搜索量大到一定程度的时候, 索引更新的效率会逐渐降低, 服务器的压力逐渐升高, 因此基本上整个搜索引擎的利用率可以说是越来越低了, 并且随着海量数据存储带来的困难, 设计一个良好的分布式搜索引擎将是一个搜索引擎能否面相未来发展的关键因素了. 那么分布式搜索引擎的最主要的核心问题是哪些呢? 1. 分布的信息获取和计算以及对此进行的数据统一 这里面包括爬虫/或者相应的数据获取机制的分布, 对信息进行加工的统一管理 2. 数据处理后的分布存储和管理 主要是文件的准确定位和更新,增加,删除,移动的机制 3. 前端搜索服务...
阅读全文
2011-10-14 18:24 by yuejianjun, 7 visits, 网摘, 收藏, 编辑
摘要:privateStringIndex[]stringIndex_Group;privateboolisGroup=false;publicstring[]strType;publicint[][]GroupInt;publicstring[][]GroupString;public override void Collect(int doc): if(isGroup){for(inti=0;i<strType.Length;i++){GroupInt[i][stringIndex_Group[i].order[doc]]++;//GroupInt[stringIndex_Group.or
阅读全文
2011-10-11 10:56 by yuejianjun, 49 visits, 网摘, 收藏, 编辑
摘要:http://www.cnblogs.com/czllfy/archive/2011/04/13/2014469.htmlusingSystem;usingSystem.Collections.Generic;usingSystem.Text;usingSystem.Threading;namespaceCS_Test{classThreadPool_Demo{//用于保存每个线程的计算结果staticint[]result=newint[10];//注意:由于WaitCallback委托的声明带有参数,//所以将被调用的Fun方法必须带有参数,即:Fun(objectobj)。staticv
阅读全文