lucene索引
一、lucene索引
1、文档层次结构
- 索引（Index）：一个索引放在一个文件夹中；
- 段（Segment）：一个索引中可以有很多段，段与段之间是独立的，添加新的文档可能产生新段，不同的段可以合并成一个新段；
- 文档（Document）：文档是创建索引的基本单位，不同的文档保存在不同的段中，一个段可以包含多个文档；
- 域（Field）：一个文档包含不同类型的信息，可以拆分开索引；
- 词（Term）：词是索引的最小单位，是经过词法分析和语言处理后的数据；
文档是Lucene索引和搜索的原子单位，文档为包含一个或多个域的容器，而域则依次包含“真正的”被搜索内容，域值通过分词技术处理，得到多个词元。如一篇小说信息可以称为一个文档；小说信息又包含多个域，比如标题，作者、简介、最后更新时间等；对标题这一个域采用分词技术，又可以等到一个或多个词元。
2、正向索引与反向索引
- 正向索引：文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。正向信息就是按层次保存了索引一直到词的包含关系： 索引 -> 段-> 文档 -> 域 -> 词
- 反向索引：一种以索引项为中心来组织文档的方式，每个索引项指向一个文档序列，这个序列中的文档都包含该索引项。反向信息保存了词典的倒排表映射：词 -> 文档
lucene使用到的就是反向索引。如下图所示：
二、索引操作
相关示例如下：
1 package com.test.lucene; 2 3 import java.io.IOException; 4 import java.nio.file.Paths; 5 6 import org.apache.lucene.analysis.Analyzer; 7 import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; 8 import org.apache.lucene.document.Document; 9 import org.apache.lucene.document.Field.Store; 10 import org.apache.lucene.document.IntField; 11 import org.apache.lucene.document.StringField; 12 import org.apache.lucene.document.TextField; 13 import org.apache.lucene.index.DirectoryReader; 14 import org.apache.lucene.index.IndexWriter; 15 import org.apache.lucene.index.IndexWriterConfig; 16 import org.apache.lucene.index.Term; 17 import org.apache.lucene.index.IndexWriterConfig.OpenMode; 18 import org.apache.lucene.queryparser.classic.ParseException; 19 import org.apache.lucene.queryparser.classic.QueryParser; 20 import org.apache.lucene.search.IndexSearcher; 21 import org.apache.lucene.search.Query; 22 import org.apache.lucene.search.TopDocs; 23 import org.apache.lucene.store.Directory; 24 import org.apache.lucene.store.FSDirectory; 25 26 /** 27 * 索引增删改查 28 */ 29 public class IndexTest { 30 /** 31 * 创建索引 32 * 33 * @param path 34 * 索引存放路径 35 */ 36 public static void create(String path) { 37 System.out.println("创建开始=============================》"); 38 Analyzer analyzer = new SmartChineseAnalyzer();// 指定分词技术，这里使用的是中文分词 39 40 IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);// indexWriter的配置信息 41 42 indexWriterConfig.setOpenMode(OpenMode.CREATE_OR_APPEND); // 索引的打开方式：没有则创建，有则打开 43 44 Directory directory = null; 45 IndexWriter indexWriter = null; 46 // 文档一 47 Document doc1 = new Document(); 48 doc1.add(new StringField("id", "1111", Store.YES)); 49 doc1.add(new TextField("content", "中国广州", Store.YES)); 50 doc1.add(new IntField("num", 1, Store.YES)); 51 52 // 文档二 53 Document doc2 = new Document(); 54 doc2.add(new StringField("id", "2222", Store.YES)); 55 doc2.add(new TextField("content", "中国上海", Store.YES)); 56 doc2.add(new IntField("num", 2, Store.YES)); 57 58 try { 59 directory = FSDirectory.open(Paths.get(path));// 索引在硬盘上的存储路径 60 indexWriter = new IndexWriter(directory, indexWriterConfig); 61 indexWriter.addDocument(doc1); 62 indexWriter.addDocument(doc2); 63 // 将indexWrite操作提交，如果不提交，之前的操作将不会保存到硬盘 64 // 但是这一步很消耗系统资源，索引执行该操作需要有一定的策略 65 indexWriter.commit(); 66 } catch (IOException e) { 67 e.printStackTrace(); 68 } finally { // 关闭资源 69 try { 70 indexWriter.close(); 71 directory.close(); 72 } catch (IOException e) { 73 e.printStackTrace(); 74 } 75 } 76 System.out.println("创建索引完成================================="); 77 } 78 79 /** 80 * 添加索引 81 * 82 * @param path 83 * 索引存放路径 84 * @param document 85 * 添加的文档 86 */ 87 public static void add(String path, Document document) { 88 System.out.println("增加索引开始=============================》"); 89 Analyzer analyzer = new SmartChineseAnalyzer();// 指定分词技术，这里使用的是中文分词 90 91 IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);// indexWriter的配置信息 92 93 indexWriterConfig.setOpenMode(OpenMode.CREATE_OR_APPEND); // 索引的打开方式：没有则创建，有则打开 94 Directory directory = null; 95 IndexWriter indexWriter = null; 96 try { 97 directory = FSDirectory.open(Paths.get(path));// 索引在硬盘上的存储路径 98 99 indexWriter = new IndexWriter(directory, indexWriterConfig); 100 indexWriter.addDocument(document); 101 indexWriter.commit(); 102 } catch (IOException e) { 103 e.printStackTrace(); 104 } finally { // 关闭资源 105 try { 106 indexWriter.close(); 107 directory.close(); 108 } catch (IOException e) { 109 e.printStackTrace(); 110 } 111 } 112 System.out.println("增加索引完成================================="); 113 } 114 115 /** 116 * 删除索引 117 * 118 * @param indexpath 119 * 索引存放路径 120 * @param id 121 * 文档id 122 */ 123 public static void delete(String indexpath, String id) { 124 System.out.println("删除索引开始=============================》"); 125 Analyzer analyzer = new SmartChineseAnalyzer();// 指定分词技术，这里使用的是中文分词 126 127 IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);// indexWriter的配置信息 128 129 indexWriterConfig.setOpenMode(OpenMode.CREATE_OR_APPEND); // 索引的打开方式：没有则创建，有则打开 130 IndexWriter indexWriter = null; 131 Directory directory = null; 132 try { 133 directory = FSDirectory.open(Paths.get(indexpath));// 索引在硬盘上的存储路径 134 indexWriter = new IndexWriter(directory, indexWriterConfig); 135 indexWriter.deleteDocuments(new Term("id", id));// 删除索引操作 136 } catch (IOException e) { 137 e.printStackTrace(); 138 } finally { // 关闭资源 139 try { 140 indexWriter.close(); 141 directory.close(); 142 } catch (IOException e) { 143 e.printStackTrace(); 144 } 145 } 146 System.out.println("删除索引完成================================="); 147 } 148 149 /** 150 * Lucene没有真正的更新操作，通过某个fieldname，可以更新这个域对应的索引，但是实质上，它是先删除索引，再重新建立的。 151 * 152 * @param indexpath 153 * 索引存放路径 154 * @param newDoc 155 * 更新后的文档 156 * @param oldDoc 157 * 需要更新的目标文档 158 */ 159 public static void update(String indexpath, Document newDoc, Document oldDoc) { 160 System.out.println("更新索引开始=============================》"); 161 Analyzer analyzer = new SmartChineseAnalyzer(); 162 IndexWriterConfig config = new IndexWriterConfig(analyzer); 163 config.setOpenMode(OpenMode.CREATE_OR_APPEND); 164 IndexWriter indexWriter = null; 165 Directory directory = null; 166 try { 167 directory = FSDirectory.open(Paths.get(indexpath)); 168 indexWriter = new IndexWriter(directory, config); 169 indexWriter.updateDocument(new Term("id", oldDoc.get("id")), newDoc); 170 } catch (IOException e) { 171 e.printStackTrace(); 172 } finally { // 关闭资源 173 try { 174 indexWriter.close(); 175 directory.close(); 176 } catch (IOException e) { 177 e.printStackTrace(); 178 } 179 } 180 System.out.println("更新索引完成================================="); 181 } 182 183 /** 184 * 搜索 185 * 186 * @param keyword 187 * 关键字 188 * @param indexpath 189 * 索引存放路径 190 */ 191 public static void search(String keyword, String indexpath) { 192 Directory directory = null; 193 try { 194 directory = FSDirectory.open(Paths.get(indexpath));// 索引硬盘存储路径 195 196 DirectoryReader directoryReader = DirectoryReader.open(directory);// 读取索引 197 198 IndexSearcher searcher = new IndexSearcher(directoryReader);// 创建索引检索对象 199 200 Analyzer analyzer = new SmartChineseAnalyzer();// 分词技术 201 202 QueryParser parser = new QueryParser("content", analyzer);// 创建Query 203 Query query = parser.parse(keyword);// 查询content为广州的 204 // 检索索引，获取符合条件的前10条记录 205 TopDocs topDocs = searcher.search(query, 10); 206 if (topDocs != null) { 207 System.out.println("符合条件的记录为： " + topDocs.totalHits); 208 for (int i = 0; i < topDocs.scoreDocs.length; i++) { 209 Document doc = searcher.doc(topDocs.scoreDocs[i].doc); 210 System.out.println("id = " + doc.get("id")); 211 System.out.println("content = " + doc.get("content")); 212 System.out.println("num = " + doc.get("num")); 213 } 214 } 215 directory.close(); 216 directoryReader.close(); 217 } catch (IOException e) { 218 e.printStackTrace(); 219 } catch (ParseException e) { 220 e.printStackTrace(); 221 } 222 } 223 /** 224 * 测试代码 225 * @param args 226 */ 227 public static void main(String[] args) { 228 String indexpath = "D://index/test"; 229 create(indexpath);// 创建索引 230 search("广州", indexpath); 231 Document doc = new Document(); 232 doc.add(new StringField("id", "3333", Store.YES)); 233 doc.add(new TextField("content", "中国北京广州", Store.YES)); 234 doc.add(new IntField("num", 2, Store.YES)); 235 add(indexpath, doc);// 添加索引 236 search("广州", indexpath); 237 Document newDoc = new Document(); 238 newDoc.add(new StringField("id", "3333", Store.YES)); 239 newDoc.add(new TextField("content", "中国北京广州我的顶顶顶顶顶顶顶顶顶顶顶顶", Store.YES)); 240 newDoc.add(new IntField("num", 3, Store.YES)); 241 update(indexpath, newDoc, doc);// 更新索引 242 search("广州", indexpath); 243 delete(indexpath, "3333");// 删除索引 244 search("广州", indexpath); 245 } 246 }
运行结果如下：
