Lucene的使用与重构
忽然一想好久不写博客了，工作原因个人原因，这些天一直希望一天假如36个小时该多好，但是，假如不可能。
由于近期在项目中接触了lucene，这个已经没有人维护的全文搜索框架，确实踩了不少坑，为什么用lucene呢?其实我也不知道
关于lucene原理和全文搜索引擎的一些介绍，园子里有这几篇写的还是很好的
http://www.cnblogs.com/skybreak/archive/2013/05/06/3063520.html
http://kb.cnblogs.com/page/52642/
由于完全没有接触过lucene，一开始当然是从X度，bing上搜索关于lucene.net的教程，发现找不到好用的，lucene已经好久没有维护了，如果细心阅读源码会发现许多匪夷所思的设计。对于lucene可以理解为一个数据库，lucene提供了添加数据(创建索引)，以及快速全文检索的api。
通过学习，我们发现，lucene.net给我们很多对象
Lucene.Net.Store.Directory：lucene文档的存放目录，我这里把它理解为一张表，实际上这一张表的字段可以不一样
Lucene.Net.Documents.Documents：lucene文档，相当于一条数据
Lucene.Net.Index.IndexWriter：用于向Lucene.Net.Store.Directory中添加Lucene.Net.Documents.Documents
Lucene.Net.Analysis.Standard.StandardAnalyzer：词法分析器
当然，还有一系列查询的类，这里就不列举了，说了这么多，我这篇随笔主要介绍什么呢？
既然把lucene理解为一个数据库了，从框架使用者的角度看，不需要拘泥于lucene究竟是如何存储和检索数据的，当然,第一次使用时还是要学习的，但是写完了就会发现代码写的好繁琐啊，每次都要创建Directory，Analyzer写查询语句创建对象，比如项目一开始对站内所有信息进行检索，一次加入所有数据，搜索所有数据，没有问题，后来需要对另一个模块的信息进行单表检索，会发现代码逐渐开始乱了，但是由于时间问题和开发经验一开始很难想到好的设计。刚开始时，项目经理指导将每个需要全文搜索的对象先独立出来，实现一个接口，程序运行时反射实现该接口的类（暂且成他为LuceneModel），即可实现搜索，但是后来需求要实现两种语言的搜索，根据当前前端提供的cookie来查询指定语言的数据，于是我就又给每一个LuceneModel添加一个Language字段，并且Language字段的搜索是一个且的关系（在满足搜索关键字后并且该条数据的语言必须 为从cookie中读取的）。
显然，需要对搜索这个模块进行单独的维护了，这样修改方便，并且也可以供其他项目使用，也是软件设计原则吧！
IndexerAttribute
[AttributeUsage(AttributeTargets.Property, Inherited = false, AllowMultiple = false)] public class IndexerAttribute : Attribute { public bool Index; public bool Store; /// <summary> /// /// </summary> /// <param name="index">是否为其创建索引</param> /// <param name="store">是否存储原始数据</param> public IndexerAttribute(bool index,bool store) { Index = index; Store = store; } }
表示对模型具体字段的索引方式
LuceneDB
public abstract class LuceneDB:IDisposable { private ILunceneDBPathProvider_dbPathProvider = LunceneDBPathProviders.Current; private string _dbPath; protected System.IO.DirectoryInfo _sysDirectory; protected Lucene.Net.Store.Directory _luDirectory; protected Lucene.Net.Analysis.Standard.StandardAnalyzer _analyzer; protected Lucene.Net.Index.IndexWriter _indexWriter; protected bool _isOpen = false; public LuceneDB(string path) { _dbPath = path; } public LuceneDB() { } public void SetDBPath(Type type) { if (null == _dbPath) { _dbPath = _dbPathProvider.Get(type); } } public string DBPath { get { return _dbPath; } } protected abstract void Open(); public virtual void Dispose() { _analyzer.Close(); _analyzer.Dispose(); } }
首先LuceneDB，表示一个连接对象，有子类LuceneDBIndexer和LuceneDBSearcher，两者用到的资源不一样，所以提供了一个需要实现的Open方法。通常情况下一个Lucene文件夹下有多个索引文件夹，每个索引文件夹有着相似的数据结构(同一个数据类型)，为了使这一个模块能够让别的项目使用，第一个要解决的问题就是Lucene文件夹位置的问题了，对于web项目,可以存在APPData也可以存在bin目录下，这里也照顾了下对于Console应用。
ILunceneDBPathProvider
public interface ILunceneDBPathProvider { string Get(Type type); }
默认的是一个AppDataLunceneDBPathProvider
public class AppDataLunceneDBPathProvider : ILunceneDBPathProvider { private string _prePath = AppDomain.CurrentDomain.BaseDirectory; public string Get(Type type) { return _prePath + @"\App_Data\Index\" + type.Name; } }
这样如果有需要检索的User类，他的lucene文件夹就为App_Data\Index\User
LuceneDBIndexer
public class LuceneDBIndexer: LuceneDB { private Dictionary<Type,IEnumerable<PropertyInfo>> _tempProps; public LuceneDBIndexer(string path) : base(path) { } public LuceneDBIndexer() { } protected override void Open() { if (_isOpen) { Dispose(); } if (!System.IO.Directory.Exists(DBPath)) { System.IO.Directory.CreateDirectory(DBPath); } _analyzer = new Lucene.Net.Analysis.Standard.StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_30); _luDirectory = Lucene.Net.Store.FSDirectory.Open(new System.IO.DirectoryInfo(DBPath)); _indexWriter = new Lucene.Net.Index.IndexWriter(_luDirectory, _analyzer, true, Lucene.Net.Index.IndexWriter.MaxFieldLength.LIMITED); _isOpen = true; } public IEnumerable<PropertyInfo> GetProps(Type type) { if(null == _tempProps) { _tempProps = new Dictionary<Type, IEnumerable<PropertyInfo>>(); } if (!_tempProps.ContainsKey(type)) { _tempProps.Add(type, type.GetProperties().Where(prop => null != prop.GetCustomAttribute(typeof(IndexerAttribute), true))); } return _tempProps[type]; } public void Add<T>(T obj) { SetDBPath(typeof(T)); Open(); Document document = new Document(); foreach (var prop in GetProps(typeof(T))) { var value = prop.GetValue(obj)?.ToString(); if(null != value) { var attr = prop.GetCustomAttribute(typeof(IndexerAttribute), true) as IndexerAttribute; var store = attr.Store ? Field.Store.YES : Field.Store.NO; var index = attr.Index ? Field.Index.ANALYZED : Field.Index.NOT_ANALYZED; document.Add(new Field(prop.Name, value, store, index)); } } _indexWriter.AddDocument(document); } public void AddRange<T>(IEnumerable<T> objs) { SetDBPath(typeof(T)); Open(); foreach (var obj in objs) { Document document = new Document(); foreach (var prop in GetProps(typeof(T))) { var value = prop.GetValue(obj)?.ToString(); if (null != value) { var attr = prop.GetCustomAttribute<IndexerAttribute>(); var store = attr.Store ? Field.Store.YES : Field.Store.NO; var index = attr.Index ? Field.Index.ANALYZED : Field.Index.NOT_ANALYZED; document.Add(new Field(prop.Name, value, store, index)); } } _indexWriter.AddDocument(document); } } public override void Dispose() { _indexWriter.Optimize(); _indexWriter.Dispose(); base.Dispose(); } }
这个类用于创建索引，会读取用在对象上的Indexer标签
LuceneDBSearcher
public class LuceneDBSearcher: LuceneDB { private Type _searchType; public LuceneDBSearcher(string path) : base(path) { } public LuceneDBSearcher(Type type) { SetDBPath(type); } public LuceneDBSearcher() { } public Type SearchType { set { //判断该类型是否实现 某 约定 _searchType = value; } get { return _searchType; } } public IEnumerable<T> Search<T>(string searchText, IEnumerable<string> fields, int page, int pageSize, Dictionary<string,string> condition= null) where T : new() { return GetModels<T>(SearchText(searchText, fields, page, pageSize, condition)); } private IEnumerable<Document> SearchText(string searchText,IEnumerable<string> fields,int page,int pageSize, Dictionary<string,string> condition) { StringBuilder conditionWhere = new StringBuilder(); foreach (var item in condition) { conditionWhere.Append(" +" + item.Key + ":" + item.Value); } Open(); var parser = new Lucene.Net.QueryParsers.MultiFieldQueryParser(Lucene.Net.Util.Version.LUCENE_30, fields.ToArray(), _analyzer); var search = new Lucene.Net.Search.IndexSearcher(_luDirectory, true); var query = parser.Parse("+" + searchText + conditionWhere.ToString()); var searchDocs = search.Search(query, 100).ScoreDocs; return searchDocs.Select(t => search.Doc(t.Doc)); } protected override void Open() { _luDirectory = Lucene.Net.Store.FSDirectory.Open(new System.IO.DirectoryInfo(DBPath)); if (Lucene.Net.Index.IndexWriter.IsLocked(_luDirectory)) { Lucene.Net.Index.IndexWriter.Unlock(_luDirectory); } var lockFilePath = System.IO.Path.Combine(DBPath, "write.lock"); if (System.IO.File.Exists(lockFilePath)) { System.IO.File.Delete(lockFilePath); } _analyzer = new Lucene.Net.Analysis.Standard.StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_30); } private IEnumerable<T> GetModels<T>(IEnumerable<Document> documents) where T:new() { var type = typeof(T); var props = type.GetProperties().Where(prop => null != prop.GetCustomAttribute(typeof(IndexerAttribute), true)); var objs = new List<T>(); foreach (var document in documents) { var obj = new T(); foreach (var prop in props) { var attr = prop.GetCustomAttribute<IndexerAttribute>(); if (null != attr && attr.Store) { object v = Convert.ChangeType(document.Get(prop.Name), prop.PropertyType); prop.SetValue(obj, v); } } objs.Add(obj); } return objs; } private T GetModel<T>(Document document) where T : new() { var type = typeof(T); var props = type.GetProperties().Where(prop => null != prop.GetCustomAttribute(typeof(IndexerAttribute), true)); var obj = new T(); foreach (var prop in props) { var attr = prop.GetCustomAttribute<IndexerAttribute>(); if (null != attr && attr.Store) { object v = Convert.ChangeType(document.Get(prop.Name), prop.PropertyType); prop.SetValue(obj, v); } } return obj; } public override void Dispose() { _analyzer.Dispose(); base.Dispose(); } }
用于检索Lucene文件夹并将数据转为对象
LuceneEntityBase
public abstract class LuceneEntityBase:ILuceneStored { #region private private Dictionary<string, PropertyInfo> _propertiesCache; #endregion #region IndexerFields #region ILuceneStored [Indexer(false, true)] public string ID { get; set; } [Indexer(true, false)] public string _Customer { get; set; } [Indexer(true, false)] public string _Category { get; set; } #endregion /// <summary> /// 图片 /// </summary> [Indexer(false, true)] public string Picture { get; set; } /// <summary> /// 标题 /// </summary> [Indexer(true, true)] public string Title { get; set; } /// <summary> /// 简介 /// </summary> [Indexer(true, true)] public string Synopsis { get; set; } /// <summary> /// 链接 /// </summary> [Indexer(false, true)] public string Url { get; set; } #endregion public LuceneEntityBase() { } protected IEnumerable<T> Search<T>(string searchText, int page, int pageSize, object condition = null) where T:new () { var ConditionDictionary = null != condition ? InitConditionSearchFields(condition) : new Dictionary<string, string>(); var fullTextSearchFields = from propName in PropertiesCache.Select(t => t.Key) where !ConditionDictionary.ContainsKey(propName) select propName; using (var luceneDB = new LuceneDBSearcher(GetType())) { return luceneDB.Search<T>(searchText, fullTextSearchFields, page, pageSize, ConditionDictionary); } } /// <summary> /// 属性缓存 /// </summary> protected Dictionary<string, PropertyInfo> PropertiesCache { get { if(null == _propertiesCache) { _propertiesCache = new Dictionary<string, PropertyInfo>(); foreach (var prop in GetType().GetProperties()) { var attr = prop.GetCustomAttribute<IndexerAttribute>(true); if (null != attr && attr.Index) { _propertiesCache.Add(prop.Name, prop); } } } return _propertiesCache; } } /// <summary> /// 初始化 且 条件 /// </summary> protected virtual Dictionary<string, string> InitConditionSearchFields(object andCondition) { var _conditionDictionary = new Dictionary<string, string>(); var type = GetType(); var andConditionType = andCondition.GetType(); var conditions = type.GetInterfaces().Where(t => typeof(ICondition).IsAssignableFrom(t) && t!= typeof(ICondition)) .SelectMany(t => t.GetProperties() /*t.GetInterfaceMap(t).InterfaceMethods*/) .Select(t => t.Name); foreach (var condition in conditions) { if (!_conditionDictionary.ContainsKey(condition)) { _conditionDictionary.Add(condition, andConditionType.GetProperty(condition).GetValue(andCondition)?.ToString() ?? string.Empty); } } return _conditionDictionary; } }
需要索引的抽象基类
一般而言搜索结果有一个标题，介绍，图片等等，介绍和标题是数据库（这里是db）中实际存储的，然而对于搜索的关键字确实没有的，比如（在博客园中）有一个博客表，表里面存博客标题，博客主要内容，还有一个问道表，用户提的问题，介绍，等等，此时如果用户来到博客园中，键入博客（可能已进入首页都是博客，但是用户还是键入了博客），然而db中却不知道那个是博客？？仔细想是不是这样子的，这里_Customer就是设定这些数据的，当然也可以是_Category。
结下来介绍一个比较重要的接口。
ICondition
public interface ICondition { }
作为一个空接口，如果不能找到一个它不应该存在的理由，那它就真的不应该存在了。在上面说的LuceneEntityBase中，所有的字段都是全文搜索的，即任何一个字段数据匹配用户键入的值都可能称谓匹配的文档，这是假如需要匹配另一个条件该如何？写代码之初只考虑到一个语言条件，再添加一个参数，具体改一下搜索的方法就可以了，这样一样知识需要改三处，搜索入口（控制器），给该模型添加一个语言字段，具体的搜索方法也要改一下，甚至写索引的方法也都要改。然而有了这个接口，我们只需要实现一个ILanguage继承该接口,然后事具体的模型也继承ILanguage就行。
public interface ILanguage: ICondition { string Language { get; set; } }
在看一下上面LuceneEntityBase中创建且条件的方法，会解析出ICondition中的属性并设置为必须条件
var _conditionDictionary = new Dictionary<string, string>(); var type = GetType(); var andConditionType = andCondition.GetType(); var conditions = type.GetInterfaces().Where(t => typeof(ICondition).IsAssignableFrom(t) && t!= typeof(ICondition)) .SelectMany(t => t.GetProperties() /*t.GetInterfaceMap(t).InterfaceMethods*/) .Select(t => t.Name); foreach (var condition in conditions) { if (!_conditionDictionary.ContainsKey(condition)) { _conditionDictionary.Add(condition, andConditionType.GetProperty(condition).GetValue(andCondition)?.ToString() ?? string.Empty); } }
实例之三国人物
用上面封装后的类建立了一个简易的搜索示例
核心代码只有以下三部分，数据的话都爬虫字自百度百科
public class Figure : Lyrewing.Search.LuceneEntityBase, ICountry { [Indexer(true,true)] public string Country { get; set; } [Indexer(true,true)] public string FigureName { get; set; } /// <summary> /// 称谓 /// </summary> [Indexer(true,true)] public string Appellation { get; set; } /// <summary> /// 关键字 /// </summary> [Indexer(true,true)] public string KeyWords { get; set; } public IEnumerable<Figure> Search(string searchText, int page, int pageSize, object condition = null) { return Search<Figure>(searchText, page, pageSize, condition); } } public interface ICountry : ICondition { string Country { get; set; } }
using (var luceneDB = new LuceneDBIndexer()) { luceneDB.AddRange(Figures); }
var seacher = new Figure(); var result = seacher.Search(key, 1, 100, country != Country.默认 ? new { Country = country.ToString() } : null);
小结：
通过这次从lucene的踩坑，到lucene的重构，以及代码的一些思考，发现过程是艰辛的，代码现在也不是完美的，lucene的一些其他复杂的查询也没有加进去，但是从这个过程来说对自己来说是值得的，依稀记得实习的时候以为老师讲过的一句话，貌似高三语文老师也讲过哈，信达雅，但是这个过程是不易的，还需要更多的学习和挑战！
