摘要：本结果是基于20000次以上的搜索分析百度而的来的，如有不当请指正，希望我们能够一起来揭开百度分词的面纱。 在大家的心目中可能百度的分词是极其复杂的，他代表了中国分词领域的最高水平，其实不然，简单最好，裸体最美，当我们拨下百度的衣服，既然会发现百度的分词是如此的简单，可能正应了一个名人的某一句话：当用户输入查询关键字的时候我们要准确的知道用户在想什么！这正是百度所追求的，他把所有的工作都放在了... 阅读全文

摘要：1，得到网页上的链接地址： string matchString = @"]+href=\s*(?:'(?[^']+)'|""(?[^""]+)""|(?[^>\s]+))\s*[^>]*>";2，得到网页的标题： string matchString = @"(?.*)";3，去掉网页中的所有的html标记： string temp = Regex.Replace(... 阅读全文

摘要：99收藏夹原来的站内收藏搜索是基于数据库的like%%语句，发现速度有点慢，于是想到用Lucene来实现站内收藏的按名字和共享收藏的连接标题来搜索的功能，昨天下午做好了，但是结果有点牵强人意。首先我用Lucene把数据从数据库导出建立索引，代码如下，注：里面的ChinaTokene方法是调用www.sj110.com的中文分词组件 Code highlighting produced by Act... 阅读全文

摘要：在上篇文章我们说了怎么建立索引，现在说的是怎么搜索这个索引，最主要的我们是要理解startAt的含义，理解了他什么问题都解决了。还有这个例子的分页很经典，我发现google和baidu用的都是这个分页方法。主要就两个方法，一个search()方法，主要是显示当前页的搜索记录 1protected void search() 2 { 3 DateTime start = Dat... 阅读全文

摘要：DotLucene的官方网站这样介绍：DotLucene是一个专门为NET设计的功能强大的搜索引擎！他上面也有一个在线demo，搜索3.5GB的文本数据所花费的时间在0.1秒左右！大家可以点这里测试。我也记得在我的一个网站 99收藏夹（注1）里面有个在线帮助，他是用StreamReader来读文本数据的，其他的是读数据库，我发现不管是读数据库还是一xml的形式读xml文档，不管你的数据库如何优化，... 阅读全文

摘要：搜索引擎的实现原理，可以看作四步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索→对搜索结果进行处理和排序。 从互联网上抓取网页. 利用能够从互联网上自动收集网页的网络蜘蛛程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集到服务器中。 建立索引数据库 . 由索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码... 阅读全文