博客园-雨中漫步的太阳-最新评论http://www.cnblogs.com/suyuan/CommentsRSS.aspx雨中漫步,笑看人生百态,优哉游哉zh-cnMon, 18 Aug 2008 10:15:01 GMTMon, 18 Aug 2008 10:15:01 GMTcnblogsre: Asp.net2005 使用 NVelocity 实现 MVC http://www.cnblogs.com/suyuan/archive/2008/08/18/1169756.html#1290720乐游游乐游游Mon, 18 Aug 2008 14:56:39 GMThttp://www.cnblogs.com/suyuan/archive/2008/08/18/1169756.html#1290720
0.4好像有个 NVelocity.Http 可以实现呢，到 Castle 维护后就没了 @_@

这种模式，使用过程中有没遇到重大问题？

乐游游 2008-08-18 22:56 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/08/01/1256775.html#1274562雨中漫步的太阳雨中漫步的太阳Fri, 01 Aug 2008 03:36:54 GMThttp://www.cnblogs.com/suyuan/archive/2008/08/01/1256775.html#1274562
1 、问题的来源

增加分词以后结果的准确度提高了，但是用户反映返回结果的速度很慢。原因是， Lucene 做每一篇文档的相关关键词的高亮显示时，在运行时执行了很多遍的分词操作。这样降低了性能。

2 、解决方法

在 Lucene1.4.3 版本中的一个新功能可以解决这个问题。 Term Vector 现在支持保存 Token.getPositionIncrement() 和 Token.startOffset() 以及 Token.endOffset() 信息。利用 Lucene 中新增加的 Token 信息的保存结果以后，就不需要为了高亮显示而在运行时解析每篇文档。通过 Field 方法控制是否保存该信息。修改 HighlighterTest.java 的代码如下：

// 增加文档时保存 Term 位置信息。

private void addDoc(IndexWriter writer, String text) throws IOException

{

Document d = new Document();

//Field f = new Field(FIELD_NAME, text, true, true, true);

Field f = new Field(FIELD_NAME, text ,

Field.Store.YES, Field.Index.TOKENIZED,

Field.TermVector.WITH_POSITIONS_OFFSETS);

d.add(f);

writer.addDocument(d);

}

// 利用 Term 位置信息节省 Highlight 时间。

void doStandardHighlights() throws Exception

{

Highlighter highlighter =new Highlighter(this,new QueryScorer(query));

highlighter.setTextFragmenter(new SimpleFragmenter(20));

for (int i = 0; i < hits.length(); i++)

{

String text = hits.doc(i).get(FIELD_NAME);

int maxNumFragmentsRequired = 2;

String fragmentSeparator = "...";

TermPositionVector tpv = (TermPositionVector)reader.getTermFreqVector(hits.id(i),FIELD_NAME);

// 如果没有 stop words 去除还可以改成 TokenSources.getTokenStream(tpv,true); 进一步提速。

TokenStream tokenStream=TokenSources.getTokenStream(tpv);

//analyzer.tokenStream(FIELD_NAME,new StringReader(text));

String result =

highlighter.getBestFragments(

tokenStream,

text,

maxNumFragmentsRequired,

fragmentSeparator);

System.out.println("\t" + result);

}

}

最后把 highlight 包中的一个额外的判断去掉。对于中文来说没有明显的单词界限，所以下面这个判断是错误的：

tokenGroup.isDistinct(token)

这样中文分词就不会影响到查询速度了。

雨中漫步的太阳 2008-08-01 11:36 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273288雨中漫步的太阳雨中漫步的太阳Thu, 31 Jul 2008 02:42:43 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273288jowo: 这种效率肯定差
--------------------------------------------------------
我这里简单做了测试,搜索分页的时候由于仅仅对10条信息处理 ,使用此方法和不使用此方法 时间上大致相差 10毫秒 具体和heiglight来比较的话 没有严格的比较, 但是我想heiglight还有通过分词器对比字典来先分词后replace的方式 不知道会比这个快多少, jowo 希望你有时间做个测试

雨中漫步的太阳 2008-07-31 10:42 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273279雨中漫步的太阳雨中漫步的太阳Thu, 31 Jul 2008 02:39:42 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273279小龟爬爬: 博主 试没试过用替换字符串的办法
比如“博客园,程序员的家园”想要高亮显示“园”字
就可以用“&lt;font color=red&gt;园&lt;/font&gt;”替换字符串里的“园”字就可以了……
--------------------------------------------------------
我文章里面说了 "有些朋友仅仅使用了套红也就是仅仅replaceall 那样会造成假如你的文本太长 你想substr的时候,很可能你的套红根本没有显示出来 原因很简单 被你cut掉了 呵呵 而这个就不会,可以避免上述情况."




雨中漫步的太阳 2008-07-31 10:39 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273272jowojowoThu, 31 Jul 2008 02:36:21 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273272
jowo 2008-07-31 10:36 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273158小龟爬爬小龟爬爬Thu, 31 Jul 2008 01:42:53 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273158比如“博客园,程序员的家园”想要高亮显示“园”字
就可以用“<font color=red>园</font>”替换字符串里的“园”字就可以了……

小龟爬爬 2008-07-31 09:42 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273023雨中漫步的太阳雨中漫步的太阳Thu, 31 Jul 2008 00:42:57 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/31/1256775.html#1273023你做过测试么?

雨中漫步的太阳 2008-07-31 08:42 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/30/1256775.html#1272861BirdshoverBirdshoverWed, 30 Jul 2008 15:30:08 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/30/1256775.html#1272861
Birdshover 2008-07-30 23:30 发表评论
]]>re: 一个字符串str=&quot;fsdafdsaf&quot; 任意个字符,求出这个字符串中出现次数最多的字符和出现的次数http://www.cnblogs.com/suyuan/archive/2008/07/30/1241067.html#1272844SK_BogdanSK_BogdanWed, 30 Jul 2008 15:19:35 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/30/1241067.html#1272844
SK_Bogdan 2008-07-30 23:19 发表评论
]]>re: 自己动手实现 lucene 搜索代码高亮显示http://www.cnblogs.com/suyuan/archive/2008/07/30/1256775.html#1272824留恋星空留恋星空Wed, 30 Jul 2008 14:55:36 GMThttp://www.cnblogs.com/suyuan/archive/2008/07/30/1256775.html#1272824
留恋星空 2008-07-30 22:55 发表评论
]]>