花阴偷移

摘要： 一.概述 Ngram是一种基于统计语言模型的算法。Ngram基本思想是将文本里面的内容按照字节大小进行滑动窗口操作，形成长度是N的字节片段序列。此时每一个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间。列表 阅读全文

摘要： 一.概述 Tokenizer分词器接收字符流(es的text类型)，将其分解为单个term(通常是单个单词), 然后输出标记流。分词器除了分解，还负责记录以下内容： 1）记录每个单词(term)的顺序或位置(用于”phrase短语“和单词邻近性查询） 2）term原始单词的开始和结束字符偏移量（使用 阅读全文

摘要： Elasticsearch 附带了各种内置分析器，可以直接在任何索引中使用，而无需额外配置： 1) 标准分析器 Standard Analyzer 该分析器的文本分词规则是：过滤掉大多数标点符号来划分单词，通过Unicode 文本分割算法，再转成小写的分词。 支持删除常用的停用词(如:the， a 阅读全文

摘要： 一.自定义分析器 当内置分析器不能满足时，可以创建一个自定义分析器，自定义分析器(analyzer)由： 1）0或多个 charactcr filter 字符过滤器 2) 1个 tokenizer 分词器，将文本切分为分词 3）0或多个 token filter 令牌过滤器，是属于分词后再过滤 自定 阅读全文

摘要： 一. 内置分析器(analyzer) 内置分析器无需任何配置即可直接使用，也支持配置选项来更改其行为。 下面示例，分别使用了自定义分析器与内置分析器 PUT my-index-000001 { "settings": { "analysis": { "analyzer": { "std_englis 阅读全文

摘要： 一. 配置文本分析器(Configure text analysis) 默认情况下，Elasticsearch 使用standard分析器来进行文本分析，如果使用该分析器，则不用额外的配置。如果不满足，可以使用其它内置分析器，也可以创建自定义的分析器更好的控制，通常在生产实战中都是自定义分析器，方便 阅读全文

摘要： 一.概述 分词是构建倒排索引的重要一环。根据语言不同可以分为英文分词、中文分词等；根据分词实现的不同又分为标准分词器、空格分词器、停用词分词器等。在传统的分词器不能解决特定业务场景的问题时，往往需要自定义分词器。 1.1认识分词 对于分词操作来说，英语单词分词相对简单，因为单词之间都会以空格或者标点 阅读全文

摘要： 一.概述 问题： 在使用 asp.net core api 做业务开发时，在本地vs开发环境，部署后的测试环境，都需要先获取access_token，才能访问api接口，这样浪费了调试与测试时间。 现状： 我这里是通过Apollo 配置中心定义了二套配置环境，一是Dev环境：用于本地vs开发环境，部 阅读全文

摘要： 倒排索引主要由两部分组成： 1）单词词典，即每个文档进行分词后的词项在去重后组成的集合； 2）倒排文件 是倒排列表持久化存储的结果，通常保存在磁盘等存储设备上。倒排列表记录了词项所在文档的文档列表、单词频率等信息。 我们以4个文档为例： 文档编号 文档内容 1 作为一款领先的聊天助手，ChatGPT 阅读全文

摘要： 一.概述 在开发数据清洗时，ES数据集有600w条，每一条的子对象又有几十条，需要拿到子对象去重后的集合，使用分批提取ES数据，共535批。开始使用List来操作，关键代码如下： var specListAll = new List<SpecInfo>(); for (int i = 0; i < 阅读全文