Lucene的系统架构(索引方式)

Lucene是一个完全使用Java SDK开发的全文检索工具，没用使用到第三方的java开发包。因此，我们使用Lucene时，只需要把lucene-core-2.0.0.jar包引入到工程中就可以了。为了作为后续章节的示例，展示索引文件结构，我们给出一个较有代表性的示例：

程序1.1 EntryLucene.java：使用Lucene的最简单示例应用(标引部分)

   

public void buildIndex(String indexDir) throws IOException{

                   IndexWriter writer =

new IndexWriter(indexDir,

new StandardAnalyzer(), true); ① 创建Lucene索引

                   writer.setUseCompoundFile(false); ② 非复合式索引模式

                   writer.setMergeFactor(2); ③ 合并频率的大小设置为2

           

                   Document docOne = new Document(); ④ 建立Document对象

                   docOne.add(new Field("Title1",

"term1 term2 term3",

Field.Store.YES,

Field.Index.TOKENIZED)); ⑤ 索引文件内容

writer.addDocument(docOne);

Document docTwo = new Document();

                   docTwo.add(new Field("Title1",

"term2 term3 term2",

Field.Store.YES,

Field.Index.TOKENIZED));

writer.addDocument(docTwo);

Document docThree = new Document();

                   docThree.add(new Field("Title1",

"term3 term3",

Field.Store.YES,

Field.Index.TOKENIZED));

writer.addDocument(docThree); ⑥将Document对象加到索引中去

                   Document docFour = new Document();

                   docFour.add(new Field("Title2",

"Hello Lucene!",

Field.Store.YES,

Field.Index.UN_TOKENIZED));

writer.addDocument(docFour);

Document docFive = new Document();

                   docFive.add(new Field("Title2",

"I like Lucene!",

Field.Store.NO,

Field.Index.UN_TOKENIZED,

Field.TermVector.WITH_POSITIONS_OFFSETS));

                   writer.addDocument(docFive);

Document docSix = new Document();

                   docSix.add(new Field("Title3",

"Do you want use it？",

Field.Store.NO,

Field.Index.TOKENIZED,

Field.TermVector.YES));

                   docSix.add(new Field("docName",

"docSix",

Field.Store.YES,   

Field.Index.UN_TOKENIZED));

                   writer.addDocument(docSix);

           

                   writer.close();⑦ 关闭索引，完成索引建立过程

    }

这个示例中，有几处需要特别指出的地方：

② Lucene的索引形式有2种：“复合式索引”和“非复合式索引”。通过IndexWriter类的setUseCompoundFile(boolean)方法进行设置。本例设为“False”表示不使用复合索引（为了展示Lucene具体的索引文件）。建立后的索引文件请参见图1.2；若设为“True”或者默认情况下（不调用该方法），表示开启复合索引功能，建立后的索引文件请参见图1.3。使用复合式索引的优点是可以减少文件的IO操作（《lucence in action》一书由介绍）。

③ 内存中的Segments数量达到指定的数量时（Lucene默认值为10），会把这些数量的Segments合并成一个Segment。

⑦ 执行关闭索引的close()方法时，真正完成了索引文件写入磁盘的操作。

执行上面的代码，能索引目录下看到相关的字典，频率，位置等文件，如图1.2所示：

图1.2 Lucene建立索引的文件

如果采用复合索引形式的话，图1.2中的那些文件名中带_N的文件就会聚合成一个.cfs文件。下图就是采用复合索引模式执行的结果：

图1.3 Lucene建立复合式索引后的文件

示例中采用非复合式索引形式，下面对各个文件分别做个简单介绍：

表1.1 索引文件含义

索引文件	索引文件含义
.f(n)	规格化文件。
.fdt	包含各个域数据（field的特性）信息
.fdx	它是指向.fdt文件的指针。填写的是.fdt文件中每个文档的填写field信息的起始位置
.fnm	各个域的名字信息。
.frq	词元（term）的频率信息
.prx	term在文档中的位置信息
.tis	包含term数据信息，指向位置文件与频率文件的指针。
.tii	是.tis文件的快表，可以快速定位.tis文件中term数据信息。
.tvd	保存有document信息，用词元向量（TermVector）方式保存field的信息，同它包含一个指针表，表内的指针指向.tvf文件中的field信息。
.tvf	以TermVector方式保存field数据信息。
.tvx	是.tvd的索引文件，保存了指向.tvd指针信息。
deletable	包含要删除的文档信息
Segments_N与segments.gen	保存了相关段的信息。

生成的这些索引文件，它们之间是什么关系呢？从文件后缀名可以大概知道，这些文件常常是一组一组出现，如.fdx和.fdt形成一组，.fdx文件是.fdt文件的索引快表；.tis和.tii又形成一组，.tii文件是.tis文件的索引快表。图1.4大致给出了这些具体文件之间的关系：

图1.4 各个索引文件之间的关系

使用Lucene如何搜索呢？来看下面的示例。

我们先看下面的展示Lucene查询功能代码，详见程序1.2：

程序1.2 EntryLucene.java：使用Lucene的最简单示例应用(查询部分)

public void doSearcher(String docName,

String keyword, String indexDir) {

Query query = null;      QueryParser queryParser = null;

               try {

                         Directory dir =

FSDirectory.getDirectory(indexDir,false);

                          IndexSearcher searcher =

new IndexSearcher(dir);① 打开索引

                         queryParser = new QueryParser(docName,

 new StandardAnalyzer());

                         query = queryParser.parse(keyword);②对Keyword解析

                         Hits hits = searcher.search(query);③检索索引

                         printResult(hits, keyword);

                      } catch (Exception e) {

                         e.printStackTrace();

                      }

}

private void printResult(Hits hits, String key)

throws IOException {

                      System.out.println("搜索结果： ");

                       if (hits.length() != 0) {

                         System.out.println("搜索 '" + key + "' 一共找到 "

+ hits.length() + " 个文档！");

                         System.out.print("您要查的内容可以在下列文档中查找到：");

                         for (int i = 0; i < hits.length(); i++) {

                                           System.out.print("   '"

 

图1.5 运行结果

程序1.2已经给我们展示了一个完整的搜索功能的例子。这个过程有点儿类似JDBC的查询过程：创建应用与数据库的连接，然后编写查询语句，通过查询对象搜索相关数据库表，把查询结果放到一个结果集对象里。Lucene的搜索也需要类似JDBC的几个对象：Searcher、FSDirectory、Query、StandardAnalyzer和Hits。首先通过Searcher和FSDirectory打开已经建立的索引（文件），然后编写查询语句，即创建一个Query对象，并通过Searcher进行搜索，最后把查询出来的内容，放到Hits这个容器里。如此完成一个Lucene的查询过程。

从图1.5中可以看出，Hits会要查询的内容出现在哪几个文档里。例如，根据例子1.1提供的例子，“term2”这个关键字曾经在“docOne”、“docTwo”这2个文档中出现过。

1.2.2 Lucene采用的索引结构

对比全文扫描，签名文件，后缀树等等索引结构，Lucene为提供准确快速的查询， Lucene采用倒排文件作为它的索引结构。这在后续章节有详细的说明。

1.2.3 Lucene软件包架构

Lucene选择面向对象的方法将搜索引擎的架构模块化，可以选择多种语言来实现这个搜索引擎而不必改变整体架构。

我们给出它的体系结构图。请参考图1.6：

图1.6 Lucene软件架构

各个模块是使用符合MDA规则的，方便用户选择有效的接口，也为用户定制自己所需的各个模块提供高可扩展性。各个模块之间保持固定的协议，将实现方法隐藏起来。

从图1.6我们可以了解到，Lucene一共分为5个模块，分别是：Corpus（语料库）、Analysis（解析）、Index（索引）、Storage（存储）、Search（搜索）。每一模块从逻辑上又可以再划分为2部分：交互协议部分与具体实现部分。

Corpus（语料库）中是需要被解析的文档。语料库为Analysis模块提供了访问协议，Analysis通过该协议得到料库的内容。

Analysis（解析）模块为搜索Search（模块）和Index（索引）模块提供了相同的解析过程（交互协议相同）。Lucene建立索引过程中，需要对被索引的文件进行分析；对于搜索过程而言，用户输入的查询条件，也需要通过解析（Analysis），通过相同的解析过程后，用户的查询信息才能和从文本解析出的信息相匹配，才能返回给用户正确的结果。

Index（索引）模块提供2种访问协议。一种为搜索提供访问，另一种协议为维护索引提供服务。使用Lucene创建索引时，需要对文本内容建立索引；而对索引维护也可以通过该接口访问索引，更新索引信息，优化索引。

Storage（存储）模块也提供了2种保存索引方式，一种将索引信息存放在内存中，一种针对索引信息存放在物理磁盘中。RAM存储接口可以批量地索引文件，加快标引速度。

Search（搜索）模块是用户和Lucene交互的一个窗口。用户输入的内容都通过该模块进入到Lucene的内部，然后通过Search模块，最后返回给用户相关信息，完成查询工作。