1.写一段传统的JDBC程序,将每条的用户信息从数据库读取出来
2.针对每条用户记录,建立一个lucene document
Document doc = new Document();
并根据你的需要,将用户信息的各个字段对应luncene document中的field 进行添加,如:
doc.add(new Field("NAME","USERNAME",Field.Store.YES,Field.Index.UN_TOKENIZED));
然后将该条doc加入到索引中, 如: luceneWriter.addDocument(doc);
这样就建立了lucene的索引库
3.编写对索引库的搜索程序(看lucene文档),通过对lucene的索引库的查找,你可以快速找到对应记录的ID
4.通过ID到数据库中查找相关记录

Lucene索引数据库

  Lucene,作为一种全文搜索的辅助工具,为我们进行条件搜索,无论是像Google,Baidu之类的搜索引 擎,还是论坛中的搜索功能,还是其它C/S架构的搜索,都带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS Sql Server 2000进行建立索引,然后进行全文索引。至于数据库的内容,可以是网页的内容,还是其它的。本文中数据库的内容是图书馆管理系统中的某个作者表- Authors表。

  因为考虑到篇幅的问题,所以该文不会讲的很详细,也不可能讲的很深。

  本文以这样的结构进行:

  1.介绍数据库中Authors表的结构

  2.为数据库建立索引

  3.为数据库建立查询功能

  4.在web界面下进行查询并显示结果

  1.介绍数据库中Authors表的结构

字段名称         字段类型         字段含义

Au_id                Varchar(11)    作者号
Au_name        Varchar(60)     作者名
Phone             Char(12)           电话号码
Address          Varchar(40)      地址
City                   Varchar(20)     城市
State                Char(2)             省份
Zip                    Char(5)             邮编
contract            Bit(1)                外键(关系不大)

表中的部分内容: 

  2.为数据库建立索引

  首先建立一个类TestLucene.Java。这个类就是对数据库进行建立索引,编写查询条件等。

  当然,最开始就是建立数据库连接。连接代码这里就省略了。^_^

  接着,新建一个方法getResutl(String),它返回的是数据库表Authors的内容。具体代码如下:

 

 1  public ResultSet getResult(String sql){
 2       try{
 3         Statement stmt = conn.createStatement();
 4         ResultSet rs = stmt.executeQuery(sql);
 5         return rs;
 6       }
 7       catch(SQLException e){
 8         System.out.println(e);
 9       }
10       return null;
11     }

 

然后,为数据库建立索引。

   首先要定义一个IndexWriter(),它是将索引写进Lucene自己的数据库中,它存放的位置是有你自己定义的。在定义IndexWriter 是需要指定它的分析器。Lucene自己自带有几个分析器,例如:StandarAnalyzer(),SimpleAnalyzer(), StopAnalyzer()等。它作用是对文本进行分析,判断如何进行切词。
接着,要定义一个Document。Document相当于二维表中一行数据一样。Document里包含的是Field字段,Field相当于数据库中一列,也就是一个属性,一个字段。
最后应该对IndexWriter进行优化,方法很简单,就是writer.optimize().
具体代码如下:

 1  public void Index(ResultSet rs){
 2       try{
 3         IndexWriter writer = new IndexWriter("d:/index/", getAnalyzer(), true);
 4         while(rs.next()){
 5             Document doc=new Document();
 6             doc.add(Field.Keyword("id",rs.getString("au_id")));
 7             doc.add(Field.Text("name",rs.getString("au_name")));
 8             doc.add(Field.UnIndexed("address",rs.getString("address")));
 9             doc.add(Field.UnIndexed("phone",rs.getString("phone")));
10             doc.add(Field.Text("City",rs.getString("city")));
11             writer.addDocument(doc);
12           }
13         writer.optimize();
14         writer.close();
15       }
16       catch(IOException e){
17         System.out.println(e);
18       }
19       catch(SQLException e){
20         System.out.println(e);
21       }
22     }
23 
24     public Analyzer getAnalyzer(){
25       return new StandardAnalyzer();
26     }

3.为数据库建立查询功能

  在类TestLucene中建立一个新的方法searcher(String),它返回的是一个搜索的结构集,相当于数据库中的ResultSet一样。它代的参数是你要查询的内容。这里,我把要查询的字段写死了。你可以在添加一个参数表示要查询的字段。
这里主要有两个对象IndexSearcher和Query。IndexSearcher是找到索引数据库,Query是处理搜索,它包含了三个参数:查询内容,查询字段,分析器。
具体代码如下:

 1 public Hits seacher(String queryString){
 2       Hits hits=null;;
 3       try{
 4         IndexSearcher is = new IndexSearcher("D:/index/");
 5         Query query=QueryParser.parse(queryString,"City",getAnalyzer());
 6         hits=is.search(query);
 7       }catch(Exception e){
 8         System.out.print(e);
 9       }
10       return hits;
11     }

4.在web界面下进行查询并显示结果

  这里建立一个Jsp页面TestLucene.jsp进行搜索。

  在TestLucene.jsp页面中首先引入类

 

 1 <%@ page import="lucenetest.LucentTest"%>
 2 <%@ page import="org.apache.lucene.search.*,org.apache.lucene.document.*" %>
 3 
 4   然后定义一个LuceneTest对象,获取查询结果集:
 5 
 6   LucentTest lucent=new LucentTest();
 7   Hits hits=lucent.seacher(request.getParameter("queryString"));
 8 
 9   定义一个Form,建立一个查询环境:
10 
11 <form action="TestLucene.jsp">
12   <input  type="text" name="queryString"/>
13   <input type="submit" value="搜索"/>
14 </form>
15 
16   显示查询结果:
17 
18 <table>
19   <%if(hits!=null){%>
20   <tr>
21     <td>作者号</td>
22     <td>作者名</td>
23     <td>地址</td>
24     <td>电话号码</td>
25   </tr>
26 
27  <% for(int i=0;i<hits.length();i++){
28     Document doc=hits.doc(i);
29    %>
30     <tr>
31     <td><%=doc.get("id") %></td>
32     <td><%=doc.get("name") %></td>
33     <td><%=doc.get("address") %></td>
34     <td><%=doc.get("phone") %></td>
35   </tr>
36  <% }}%>
37 </table>

 

 

  1 用Lucene-1.3-final为网站数据库建立索引
  2 
  3 下是看了lnboy写的《用lucene建立大富翁论坛的全文检索》后写的测试代码。
  4  
  5 为数据库cwb.mdb建立全文索引的indexdb.jsp 
  6 
  7 <%@ page import ="org.apache.lucene.analysis.standard.*" %>  
  8 <%@ page import="org.apache.lucene.index.*" %> 
  9 <%@ page import="org.apache.lucene.document.*" %> 
 10 <%@ page import="lucene.*" %> 
 11 <%@ page contentType="text/html; charset=GBK" %> 
 12 <% 
 13       long start = System.currentTimeMillis(); 
 14       String aa=getServletContext().getRealPath("/")+"index";    
 15       IndexWriter writer = new IndexWriter(aa, new StandardAnalyzer(), true); 
 16     try { 
 17       Class.forName("sun.jdbc.odbc.JdbcOdbcDriver").newInstance(); 
 18 
 19  String url = "jdbc:odbc:driver={Microsoft Access Driver (*.mdb)}
 20        ;DBQ=d://Tomcat 5.0//webapps//zz3zcwbwebhome//WEB-INF//cwb.mdb"; 
 21       Connection conn = DriverManager.getConnection(url); 
 22       Statement stmt = conn.createStatement(); 
 23       ResultSet rs = stmt.executeQuery( 
 24           "select Article_id,Article_name,Article_intro from Article"); 
 25       while (rs.next()) { 
 26              writer.addDocument(mydocument.Document(rs.getString("Article_id"),
 27                 rs.getString("Article_name"),rs.getString("Article_intro"))); 
 28       } 
 29       rs.close(); 
 30       stmt.close(); 
 31       conn.close(); 
 32   
 33       out.println("索引创建完毕");    
 34       writer.optimize(); 
 35       writer.close(); 
 36       out.print(System.currentTimeMillis() - start); 
 37       out.println(" total milliseconds"); 
 38 
 39     } 
 40     catch (Exception e) { 
 41       out.println(" 出错了 " + e.getClass() + 
 42                          "/n 错误信息为: " + e.getMessage()); 
 43     } 
 44  %> 
 45 
 46 用于显示查询结果的aftsearch.jsp 
 47 <%@ page import="org.apache.lucene.search.*" %> 
 48 <%@ page import="org.apache.lucene.document.*" %> 
 49 <%@ page import="lucene.*" %> 
 50 <%@ page import = "org.apache.lucene.analysis.standard.*" %>  
 51 <%@ page import="org.apache.lucene.queryParser.QueryParser" %> 
 52 <%@ page contentType="text/html; charset=GBK" %> 
 53 <% 
 54     String keyword=request.getParameter("keyword"); 
 55      keyword=new String(keyword.getBytes("ISO8859_1"));  
 56       out.println(keyword); 
 57    try { 
 58        String aa=getServletContext().getRealPath("/")+"index";    
 59       Searcher searcher = new IndexSearcher(aa); 
 60       Query query = QueryParser.parse(keyword, "Article_name", new StandardAnalyzer()); 
 61      
 62       out.println("正在查找: " + query.toString("Article_name")+"<br>"); 
 63       Hits hits = searcher.search(query); 
 64       System.out.println(hits.length() + " total matching documents"); 
 65       java.text.NumberFormat format = java.text.NumberFormat.getNumberInstance(); 
 66       for (int i = 0; i < hits.length(); i++) { 
 67         //开始输出查询结果 
 68         Document doc = hits.doc(i); 
 69         out.println(doc.get("Article_id")); 
 70         out.println("准确度为:" + format.format(hits.score(i) * 100.0) + "%"); 
 71         out.println(doc.get("Article_name")+"<br>"); 
 72        // out.println(doc.get("Article_intro")); 
 73       } 
 74     }catch (Exception e) { 
 75       out.println(" 出错了 " + e.getClass() +"/n 错误信息为: " + e.getMessage()); 
 76     } 
 77 %> 
 78 
 79 辅助类: 
 80 package lucene; 
 81 import org.apache.lucene.document.Document; 
 82 import org.apache.lucene.document.Field; 
 83 import org.apache.lucene.document.DateField; 
 84 
 85 public class mydocument { 
 86 public static Document Document(String Article_id,String Article_name,String Article_intro){ 
 87      Document doc = new Document(); 
 88       doc.add(Field.Keyword("Article_id", Article_id)); 
 89       doc.add(Field.Text("Article_name", Article_name)); 
 90       doc.add(Field.Text("Article_intro", Article_intro)); 
 91       return doc; 
 92   } 
 93   public mydocument() { 
 94   } 
 95 }
 96 
 97 用lucene为数据库搜索建立增量索引
 98 
 99 用 lucene 建立索引不可能每次都重新开始建立,而是按照新增加的记录,一次次的递增
100 建立索引的IndexWriter类,有三个参数 
101 
102 IndexWriter writer = new IndexWriter(path, new StandardAnalyzer(),isEmpty);
103 
104 
105 其中第三个参数是bool型的,指定它可以确定是增量索引,还是重建索引.
106 对于从数据库中读取的记录,譬如要为文章建立索引,我们可以记录文章的id号,然后下次再次建立索引的时候读取存下的id号,从此id后往下继续增加索引,逻辑如下.
107 
108 建立增量索引,主要代码如下
109 
110 public void createIndex(String path)
111 {
112      Statement myStatement = null;
113      String articleId="0";
114      //读取文件,获得文章id号码,这里只存最后一篇索引的文章id
115     try { 
116         FileReader fr = new FileReader("**.txt");
117         BufferedReader br = new BufferedReader(fr);                 
118         articleId=br.readLine();
119         if(articleId==null||articleId=="")
120         articleId="0";
121         br.close();
122         fr.close(); 
123       } catch (IOException e) { 
124         System.out.println("error343!");
125         e.printStackTrace();
126       }
127     try {
128         //sql语句,根据id读取下面的内容
129         String sqlText = "*****"+articleId;
130         myStatement = conn.createStatement();
131         ResultSet rs = myStatement.executeQuery(sqlText);
132        //写索引
133         while (rs.next()) {
134          Document doc = new Document();
135          doc.add(Field.Keyword("**", DateAdded));
136          doc.add(Field.Keyword("**", articleid));
137          doc.add(Field.Text("**", URL));    
138          doc.add(Field.Text("**", Content));
139          doc.add(Field.Text("**", Title));    
140          try{
141             writer.addDocument(doc);
142           }
143           catch(IOException e){
144             e.printStackTrace();
145          }
146            //将我索引的最后一篇文章的id写入文件
147           try { 
148            FileWriter fw = new FileWriter("**.txt");
149            PrintWriter out = new PrintWriter(fw);    
150            out.close();
151            fw.close();
152            } catch (IOException e) { 
153              e.printStackTrace();
154            }
155          }
156             ind.Close();
157             System.out.println("ok.end");
158          }
159          catch (SQLException e){
160             e.printStackTrace();
161         }
162         finally {
163             //数据库关闭操作
164         }        
165     }
166 
167 
168 然后控制是都建立增量索引的时候根据能否都到id值来设置IndexWriter的第三个参数为true 或者是false
169 
170  boolean isEmpty = true;
171  try { 
172     FileReader fr = new FileReader("**.txt");
173     BufferedReader br = new BufferedReader(fr);                 
174     if(br.readLine()!= null) {
175         isEmpty = false;
176      }
177      br.close();
178      fr.close(); 
179     } catch (IOException e) { 
180        e.printStackTrace();
181   }
182             
183   writer = new IndexWriter(Directory, new StandardAnalyzer(),isEmpty);

 

posted on 2016-10-24 22:13  Sharpest  阅读(5510)  评论(0编辑  收藏