用Lucene写的一个HelloWorld

 

下面是今天初次看的一点Lucene，整理出笔记备忘~~

下载这个文件lucene-2.4.0.zip到任意目录并解压，得到lucene-core-2.4.0.jar。

这里有Lucene的API：http://hudson.zones.apache.org/hudson/job/Lucene-trunk/javadoc//index.html

注意:Lucene 2.0以上使用的JDK版本不能低于1.5.0。

在My Eclipse建立一个Java Project，可命名为"Hello Lucene"。

设置Project->Properties->Java Compiler, 选中"Enable project specific settings"。

在项目中建立一个Package，命名为"test"，并添加一个名为"HelloWorld.java"的Class。

在项目中新建Folder，命名为lib。把lucene-core-2.4.0.jar用鼠标拖到lib中。

设置Project->Properties->Java Build Path，在Library选项卡中单击"Add JARs"按钮，把项目中的lucene-core-2.4.0.jar添加进去。使用项目内部的lucene-core-2.4.0.jar 就不用担心外部环境变量的影响了。

然后编写HelloWorld.java （直接拷贝代码了……）

 

 

  1package test;
  2
  3import java.io.BufferedReader;
  4import java.io.File;
  5import java.io.FileReader;
  6import java.io.IOException;
  7import java.io.InputStreamReader;
  8import java.io.Reader;
  9import java.util.Date;
 10
 11import org.apache.lucene.analysis.Analyzer;
 12import org.apache.lucene.analysis.standard.StandardAnalyzer;
 13import org.apache.lucene.document.Document;
 14import org.apache.lucene.document.Field;
 15import org.apache.lucene.index.CorruptIndexException;
 16import org.apache.lucene.index.IndexWriter;
 17import org.apache.lucene.index.Term;
 18import org.apache.lucene.queryParser.ParseException;
 19import org.apache.lucene.queryParser.QueryParser;
 20import org.apache.lucene.search.BooleanClause;
 21import org.apache.lucene.search.BooleanQuery;
 22import org.apache.lucene.search.IndexSearcher;
 23import org.apache.lucene.search.PhraseQuery;
 24import org.apache.lucene.search.Query;
 25import org.apache.lucene.search.ScoreDoc;
 26import org.apache.lucene.search.TermQuery;
 27import org.apache.lucene.search.TopDocCollector;
 28import org.apache.lucene.search.WildcardQuery;
 29import org.apache.lucene.store.FSDirectory;
 30import org.apache.lucene.store.LockObtainFailedException;
 31
 32/** *//**
 33 * @version Lucene 2.4.0
 34 * @author hj
 35 * @date 2009.1.8
 36 * @see http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
 37 * @see http://blog.chinaunix.net/u/8780/showart_396199.html
 38 * @see Lucene视频教程.rar
 39 * (shortcut key to add package: ctrl+shift+m)
 40 */
 41public class HelloWorld {
 42
 43    private String path = "D:/index";
 44
 45    /** *//**
 46     * create index for strings
 47     */
 48    private void createIndex(){
 49
 50        IndexWriter writer;
 51        try {
 52            writer = new IndexWriter(path,new StandardAnalyzer(),true,IndexWriter.MaxFieldLength.UNLIMITED);
 53            Document docA = new Document();
 54            Field fieldA = new Field("content","搜索引擎",Field.Store.YES,Field.Index.ANALYZED);
 55            docA.add(fieldA);
 56            
 57            Document docB = new Document();
 58            Field fieldB = new Field("content","建立索引",Field.Store.YES,Field.Index.ANALYZED);
 59            docB.add(fieldB);
 60            
 61            writer.addDocument(docA);
 62            writer.addDocument(docB);
 63            writer.optimize();
 64            writer.close();
 65            
 66        } catch (Exception e) {
 67            // TODO Auto-generated catch block
 68            e.printStackTrace();
 69        } 
 70                
 71    }
 72    
 73    /** *//**
 74     * create a WildcardQuery term
 75     * @return Query
 76     */
 77    private Query wildcardQuery(){
 78        Term term = new Term("content","搜");
 79        return new WildcardQuery(term);        
 80    }
 81    
 82    /** *//**
 83     * create a PhraseQuery term
 84     * @return Query
 85     */
 86    private Query phraseQuery(){
 87        PhraseQuery phraseQuery = new PhraseQuery();
 88        phraseQuery.setSlop(2);
 89        phraseQuery.add(new Term("content","搜"));
 90        phraseQuery.add(new Term("content","擎"));
 91        return phraseQuery;
 92    }
 93    
 94    /** *//**
 95     * create a BooleanQuery term
 96     * @return Query
 97     */
 98    private Query booleanQuery(){
 99        Term term1 = new Term("content","搜");
        Term term2 = new Term("content","引");
        
        TermQuery termQuery1 = new TermQuery(term1);
        TermQuery termQuery2 = new TermQuery(term2);
        
        BooleanQuery booleanQuery = new BooleanQuery();
        booleanQuery.add(termQuery1,BooleanClause.Occur.SHOULD);
        booleanQuery.add(termQuery2,BooleanClause.Occur.SHOULD);
        
        return booleanQuery;
    }
    
    private Query queryParser(){
        QueryParser queryParser = new QueryParser("content",new StandardAnalyzer());
        try {
            return queryParser.parse("搜索 擎");
        } catch (ParseException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        return null;        
    }
    
    /** *//**
     * search method
     */
    private void search(){
        try {
            IndexSearcher searcher = new IndexSearcher(path);
            //Query query= wildcardQuery();
            //Query query = phraseQuery();;
            //Query query = booleanQuery();
            Query query = queryParser();
            TopDocCollector collector = new TopDocCollector(10);
            searcher.search(query,collector);
            ScoreDoc[] hits = collector.topDocs().scoreDocs;
            //Hits hits = searcher.search(query);
            
            Document doc;
            for(int i=0;i<hits.length;i++){

                System.out.println(hits[i].doc);
                System.out.println(hits[i].score);
            
                doc = searcher.doc(hits[i].doc);
                System.out.println(doc.toString());
            }
            
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }         
    }
    
    /** *//**
     * create index for *.txt
     */
    private void TxtFileIndexer() {
        //indexDir is the directory that hosts Lucene's index files
        File indexDir = new File(path);
        //dataDir is the directory that hosts the text files that to be indexed
        File dataDir = new File(path);
        Analyzer luceneAnalyzer = new StandardAnalyzer();
        File[] dataFiles = dataDir.listFiles();
        IndexWriter writer;
        try {
            writer = new IndexWriter(indexDir,luceneAnalyzer,true,IndexWriter.MaxFieldLength.UNLIMITED);
            
            long startTime = new Date().getTime();
            
            for(int i=0;i<dataFiles.length;i++){
                if(dataFiles[i].isFile() && dataFiles[i].getName().endsWith(".txt")){
                    System.out.println("Indexing file " + dataFiles[i].getCanonicalPath());
            
                    Document doc = new Document();
                    Reader txtReader = new FileReader(dataFiles[i]);
                    //document.add(Field.Text("path",dataFiles[i].getCanonicalPath()));
                    //document.add(Field.Text("contents",txtReader));
                    doc.add(new Field("path",dataFiles[i].getCanonicalPath(),Field.Store.YES,Field.Index.ANALYZED));
                    doc.add(new Field("contents",txtReader));
                    writer.addDocument(doc);
                                        
                }                
            }
            writer.optimize();
            writer.close();
            long endTime = new Date().getTime();
            
            System.out.println("It takes " + (endTime - startTime) + " milliseconds to create index for the text files in directory " + dataDir.getPath());
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    
    /** *//**
     * search method with a parameter
     * @param keywords
     */
    private void TxtFileSearcher(String keywords){
        try{
            FSDirectory directory = FSDirectory.getDirectory(path);
            IndexSearcher searcher = new IndexSearcher(directory);
            
            Term term = new Term("contents",keywords);
            TermQuery termQuery = new TermQuery(term);
            
            TopDocCollector collector = new TopDocCollector(10);
            searcher.search(termQuery,collector);            
            ScoreDoc[] hits = collector.topDocs().scoreDocs;
            
            System.out.println("共有" + searcher.maxDoc()+"条索引,命中" + hits.length + "条");
            
            int docId;
            Document doc;
            for(int i=0;i<hits.length;i++){
                docId = hits[i].doc;
                System.out.println(docId);
                //System.out.println(hits[i].score);
                doc = searcher.doc(docId);
                System.out.println(doc.toString());
            }            
        }catch(Exception e){
            e.printStackTrace();
        }        
    }
    
    public static void main(String[] args) {
/**//*
        System.out.println("请输入要查找的关键字，例如shinhwa：");
        BufferedReader stdin = new BufferedReader(new InputStreamReader(System.in));
        
        String keywords = new String();
        try {
            keywords = stdin.readLine();
            
            HelloWorld hw = new HelloWorld();

            hw.TxtFileSearcher(keywords);    
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }        
*/        
         HelloWorld hw = new HelloWorld();
         hw.createIndex();
         hw.search();    
    }
}

 

不同版本的Lucene支持的函数不同，写的时候需要根据版本修改一下。这个小例子没实现什么功能了。默认情况下中文被分成单个字。TermQuery是以字或单词为单位搜索，WildcardQuery是使用正则表达式匹配，可在单词内部进行深度优先搜索。