.netcore的Lucene.Net基础应用

最近研究了一下使用.netcore的Lucene.Net应用，整理一下研究内容。

一、研究原因

1、系统环境：多终端、多服务、达梦数据库8、.netcore7.0、多机负载。

2、业务数量：单表1000万条数据，有7张的业务表或功能表有千万数据。

3、问题描述：业务表的字段较多，后台管理系统上，对数据查询的准确度与速度有要求，查询的组合字段较多，数据表上创建的索引无法完全覆盖所有的组合情况。

---

 

二、预期目标

1、有效提高查询速度。

2、持久化数据库与索引库保持一致。

3、减少对当前系统结构的影响，尽量降低改造的工作量。

4、可以进行索引库的数据量、待入索引库的数据、索引库查询速度等监控。

---

 

三、应用结构

1、因索引库只能单线程写入，可以多线程查询，所以在系统外新增索引写入服务，使多业务并发的状态形成单线程处理，根据业务表的类型，可以创建多个线程存入不同的索引库，同一索引库只有一个服务写入。

2、数据库增加触发器，当业务表增、删、改的时候，自动将业务表ID的操作存入队列表，使用触发器的方式避免多终端多服务的数据处置，保证业务表和索引库的数据一致。

---

 

四、实验结果

1、使用存储不分词索引导入1000万数据索引，检测多组合查询速度为1秒内。

2、业务表数据和索引库的数据可以保持一致。

---

 

五、代码样例

1、添加NuGet

1、达梦数据库 FreeSql.Provider.Dameng 3.5.213
2、索引 Lucene.Net 3.0.3
3、配置 System.Configuration.ConfigurationManager 9.0.9

2、写入索引库

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Standard;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Data;
using System.Data.Common;
using System.IO;
using System.Reflection.Metadata;
using System.Data;
using Dm;
using static FreeSql.Internal.GlobalFilter;
using Lucene.Net.Search;
using Lucene.Net.QueryParsers;
using System.Runtime.ConstrainedExecution;
using System.Reflection.PortableExecutable;

class Program
{
    static void Main(string[] args)
    {
        Analyzer analyzer = null;
        IndexWriter writer = null;
        Lucene.Net.Store.Directory indexDirectory = null;

        try
        {
            indexDirectory = FSDirectory.Open(new System.IO.DirectoryInfo("D:\\LuceneIndex"));
            analyzer = new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_30);
            
            bool iscreate = !Lucene.Net.Index.IndexReader.IndexExists(indexDirectory);

            writer = new IndexWriter(indexDirectory, analyzer, iscreate, IndexWriter.MaxFieldLength.UNLIMITED);

            string connectionString = "Server=LOCALHOST;Database=SYSDBA;User Id=SYSDBA;Password=123456;";

            using (DmConnection connection = new DmConnection(connectionString))
            {
                connection.Open();

                using (DmCommand command = new DmCommand("SELECT reg_id,reg_name,reg_sex,reg_datetime,reg_status FROM reg_infor", connection))
                {
                    using (DmDataAdapter adapter = new DmDataAdapter(command))
                    {
                        DataTable table = new DataTable();
                        adapter.Fill(table);


                        int i = 0;
                        foreach (DataRow row in table.Rows)
                        {
                            i++;
                            Lucene.Net.Documents.Document doc = new Lucene.Net.Documents.Document();
                            doc.Add(new Field("reg_id", row["reg_id"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));//存储,不分词索引
                            doc.Add(new Field("reg_name", row["reg_name"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));//存储,不分词索引
                            doc.Add(new Field("reg_sex", row["reg_sex"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));//存储,分词索引
                            doc.Add(new Field("reg_datetime", row["reg_datetime"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));//存储,分词索引
                            doc.Add(new Field("reg_status", row["reg_status"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
                            writer.AddDocument(doc);

                            writer.Commit();//.Optimize();
                        }
                    }
                }

                connection.Close();
            }
            
        }
        catch (Exception ex)
        {
            throw;
        }
        finally
        {

            if (analyzer != null)
                analyzer.Close();
            if (writer != null)
                writer.Dispose();//之前为：writer.Close();
            if (indexDirectory != null)
                indexDirectory.Dispose();//之前使用Close();
        }

        Console.WriteLine("索引创建成功！");
        Console.ReadLine();
    }
}

3、数据查询

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Standard;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Data;
using System.Data.Common;
using System.IO;
using System.Reflection.Metadata;
using System.Data;
using Dm;
using static FreeSql.Internal.GlobalFilter;
using Lucene.Net.Search;
using Lucene.Net.QueryParsers;
using System.Runtime.ConstrainedExecution;
using System.Reflection.PortableExecutable;

class Program
{
    static void Main(string[] args)
    {
        Analyzer analyzer = null;
        IndexWriter writer = null;
        Lucene.Net.Store.Directory indexDirectory = null;

        try
        {
            indexDirectory = FSDirectory.Open(new System.IO.DirectoryInfo("D:\\LuceneIndex"));
            analyzer = new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_30);

            var directory = FSDirectory.Open("D:\\LuceneIndex");

            var reader = DirectoryReader.Open(directory, true);
            var searcher = new IndexSearcher(reader);

            int numDocs = reader.NumDocs();

            var booleanQuery = new BooleanQuery();
            booleanQuery.Add(new TermQuery(new Term("reg_status", "1")), Occur.MUST);
            booleanQuery.Add(new TermQuery(new Term("reg_sex", "1")), Occur.MUST);


            var hits = searcher.Search(booleanQuery, 10);

            foreach (var hit in hits.ScoreDocs)
            {
                var doc = searcher.Doc(hit.Doc);
                Console.WriteLine($"ID: {doc.Get("reg_id")}, Name: {doc.Get("reg_name")}");
            }

        }
        catch (Exception ex)
        {
            throw;
        }
        finally
        {

            if (analyzer != null)
                analyzer.Close();
            if (writer != null)
                writer.Dispose();//之前为：writer.Close();
            if (indexDirectory != null)
                indexDirectory.Dispose();//之前使用Close();
        }

        Console.WriteLine("索引查询成功！");
        Console.ReadLine();
    }
}

4、触发器

---新增数据触发器---
CREATE TRIGGER trg_after_insert_reginfor
AFTER INSERT ON reg_infor
FOR EACH ROW
BEGIN
    insert into SYSDBA.ACTION_LOG("LOG_ID", "BIN_ID", "ACTION_TYPE", "ACTION_STATUS", "CREATE_TIME", "ACTION_TIME") 
    VALUES (REPLACE(SYS_GUID(), '-', ''),NEW."reg_id", 1, 0,TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS'),'');
END;

---修改数据触发器---
CREATE TRIGGER trg_after_update_reginfor
AFTER UPDATE ON reg_infor
FOR EACH ROW
BEGIN
    insert into SYSDBA.ACTION_LOG("LOG_ID", "BIN_ID", "ACTION_TYPE", "ACTION_STATUS", "CREATE_TIME", "ACTION_TIME") 
    VALUES (REPLACE(SYS_GUID(), '-', ''),NEW."reg_id", 2, 0,TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS'),'');
END;