文章分类 -  搜索技术

Solr 分布式(复制)配置--成功验证
摘要：solr查询量增加后，单服务器承受不了搜索压力是，需要多服务来支撑，Solr1.4后自己提供了复制机制ReplicationHandler。ReplicationHandler是个RequestHandler，在solrconfig.xml配置ReplicationHandler即可使用。Master配置 startup commit optimize --> schema.xml,stopwords.txt,elevate.xml 00:00:10 Slave配置 http://master_host:port/corename/replication 00:00:20 in... 阅读全文
posted @ 2014-02-12 09:35 bobsoft 阅读(604) 评论(0) 推荐(0)
搜索服务之离线处理思路
摘要：为完善展示搜索服务离线处理思路，现在编写三个简单的文档以作示范1.html->中华人民共和国2.html->中华人民共和国湖南省3.html->中华人民共和国湖南省株洲市现对1.html 2.html 3.html搜索，思路如下一、网页信息的提取与存储通过抓取1.html 2.html 3.html三个网页内容，用正则提取内容，形成格式化内容文件格式:url_content如:(test.txt)1.html_中华人民共和国2.html_中华人民共和国湖南省3.html_中华人民共和国湖南省株洲市二、清理数据，为建立倒排文件准备Map(key,value)->{key: 阅读全文
posted @ 2014-02-12 09:32 bobsoft 阅读(215) 评论(0) 推荐(0)
全文索引 与 Like 的实现原理
摘要：在数据库使用中，DBA都会告诉大家SQL的LIKE条件为%XXX%号时，由于不能使用索引，当数据量变大时(比如超过百万条)，全表扫描会导致性能很差。 但是在实际业务中，很难避免MySQL全文检索并Like索引的这种需求。比如模糊搜索用户帐号，昵称之类。既然这个需求必须做，但又不可以直接用LIKE。这里我和大家分享一下我们关于这种需求的一种解决方案。当然别人也可能采用过类似的办法，我不是很清楚。所以也用一下“原创”吧。 MySQL数据库很早就支持全文索引，但是全文索引和LIKE语句是不同的。具体点说，全文索引的单位是词，耳LIKE匹配的是字符。当然实际的区别更大，比如“老鼠爱大米”这段文本用.. 阅读全文
posted @ 2012-10-07 22:38 bobsoft 阅读(4891) 评论(0) 推荐(0)
Lucene.Net介绍
摘要：Lucene.Net：通过高效的中文分词算法将数据库中内容进行分析、索引并保存至硬盘中。前台搜索时，通过读取索引文件查询，避免了传统数据库查询在高并发及海量数据下的性能问题。因前台搜索不在连接数据库，为不希望数据库放到前台的特殊用户群体提供了数据快速查询解决方案! 阅读全文
posted @ 2012-10-07 22:38 bobsoft 阅读(138) 评论(0) 推荐(0)
.Lucene.net与hubble.net比较
摘要：两者都是为构建高性能搜索功能而创造的！小网站一般用like '%key%'，这样搜索！lucene.net与hubble就是为实现这个功能，而付了N多的心血！下面将对这两个框架的实现，比较进行叙述！第一实现（待续）第二比较（待续） 阅读全文
posted @ 2012-10-07 22:37 bobsoft 阅读(185) 评论(0) 推荐(0)
Solr支持多个数据源
摘要：solr可以支持多个数据源索引，具体配置如下solr主目录（c:\solr-tomcat\)1.solr.xml内容 2.每一个数据源(coreX)都包括 conf，data目录conf目录包括：schema.xml solrconfig.xmldata目录包括：索引数据 阅读全文
posted @ 2012-10-07 22:37 bobsoft 阅读(521) 评论(0) 推荐(0)
开源solr搜索服务器配置
摘要：为提高站内搜索性能，目前正在建一台搜索服务器，以solr框架为基础，就配置记录如下：前期准备tomcat,jdk配置好1.下载apache-solr.zip2.解压apache-solr.zip至e:\apache-solr3.将e:\apache-solr\dist文件夹中的apache-solr.war 拷贝到 tomcat的webapps，并且改名为 solr.war4. 建立solr主目录 比如c:\solr-tomcat\5.将e:\apache-solr\example\solr文件夹 复制 至c:\solr-tomcat\6.配置环境变量 solr.home=c:\solr-to 阅读全文
posted @ 2012-10-07 22:37 bobsoft 阅读(165) 评论(0) 推荐(0)
Solr增量更新索引
摘要：在配置好与MYSQL的数据源基础上，做增量更新索引，总结如下1.data-config.xml内容修改为 '${dataimporter.last_index_time}'"> 2. 通过访问:http://localhost:8080/solr/dataimport?command=delta-import实现增量更新更新成功之后，conf/dataimport.properties时间会改变3.通过对http://localhost:8080/solr/dataimport?command=delta-import定时请求达到定时增量更新索引目的 阅读全文
posted @ 2012-10-07 22:36 bobsoft 阅读(783) 评论(0) 推荐(0)
Solr连接MYSQL导入源数据生成索引
摘要：1.在需要导入的索引目录(core)下的conf/solrconfig.xml配置比如：C:\solr-tomcat\solr\core2\conf\solrconfig.xml data-config.xml 2.编写data-config.xml 3.在C:\solr-tomcat\solr\core2\目录创建lib目录，导入mysql-connector-java-5.1.21-bin.jar包即可4.启动tomcat,访问Solr服务器5.http://localhost:8080/solr/core2/dataimport?command=full-im... 阅读全文
posted @ 2012-10-07 22:36 bobsoft 阅读(270) 评论(0) 推荐(0)
.Solr构建索引-查询索引
摘要：折腾了一上午终于完整的展示了一下Solr功能现在总结如下0.注意事项，field name="name" type="text_en" 设置它所属的fieldtype1.配置schema.xml文件 --> --> --> idname2.配置solrconfig.xml LUCENE_36 solr 3.导入数据测试 <1.将post.jar放入源数据文件夹 <2.加载测试数据4.测试查询:http://localhost:8080/solr/core3/admin/ 输入查询关键字 ipod 返回结果... 阅读全文
posted @ 2012-10-07 22:36 bobsoft 阅读(367) 评论(0) 推荐(0)
Solr 分布式(复制)配置--待叙
摘要：solr 分布式(复制)配置转载：http://hi.baidu.com/jasonsoso/item/a222249444a152b5cc80e57d 阅读全文
posted @ 2012-10-07 22:35 bobsoft 阅读(106) 评论(0) 推荐(0)
.solr注意事项
摘要：1.索引字段对大小写敏感 阅读全文
posted @ 2012-10-07 22:34 bobsoft 阅读(126) 评论(0) 推荐(0)