上一页 1 2 3 4 5 6 7 8 9 10 ··· 55 下一页

2024年4月9日

Elasticsearch 配置内置分析器(3)

摘要: 一. 内置分析器(analyzer) 内置分析器无需任何配置即可直接使用,也支持配置选项来更改其行为。 下面示例,分别使用了自定义分析器与内置分析器 PUT my-index-000001 { "settings": { "analysis": { "analyzer": { "std_englis 阅读全文

posted @ 2024-04-09 10:34 花阴偷移 阅读(70) 评论(0) 推荐(0)

2024年4月8日

Elasticsearch 配置与测试分析器 (2)

摘要: 一. 配置文本分析器(Configure text analysis) 默认情况下,Elasticsearch 使用standard分析器来进行文本分析,如果使用该分析器,则不用额外的配置。如果不满足,可以使用其它内置分析器,也可以创建自定义的分析器更好的控制,通常在生产实战中都是自定义分析器,方便 阅读全文

posted @ 2024-04-08 11:43 花阴偷移 阅读(60) 评论(0) 推荐(0)

2024年4月7日

Elasticsearch 认识分词(1)

摘要: 一.概述 分词是构建倒排索引的重要一环。根据语言不同可以分为英文分词、中文分词等;根据分词实现的不同又分为标准分词器、空格分词器、停用词分词器等。在传统的分词器不能解决特定业务场景的问题时,往往需要自定义分词器。 1.1认识分词 对于分词操作来说,英语单词分词相对简单,因为单词之间都会以空格或者标点 阅读全文

posted @ 2024-04-07 17:24 花阴偷移 阅读(53) 评论(0) 推荐(0)

2024年3月28日

动态判断是否需要Api接口鉴权

摘要: 一.概述 问题: 在使用 asp.net core api 做业务开发时,在本地vs开发环境,部署后的测试环境,都需要先获取access_token,才能访问api接口,这样浪费了调试与测试时间。 现状: 我这里是通过Apollo 配置中心定义了二套配置环境,一是Dev环境:用于本地vs开发环境,部 阅读全文

posted @ 2024-03-28 15:14 花阴偷移 阅读(93) 评论(0) 推荐(0)

2024年3月27日

倒排索引

摘要: 倒排索引主要由两部分组成: 1)单词词典,即每个文档进行分词后的词项在去重后组成的集合; 2)倒排文件 是倒排列表持久化存储的结果,通常保存在磁盘等存储设备上。倒排列表记录了词项所在文档的文档列表、单词频率等信息。 我们以4个文档为例: 文档编号 文档内容 1 作为一款领先的聊天助手,ChatGPT 阅读全文

posted @ 2024-03-27 10:54 花阴偷移 阅读(38) 评论(0) 推荐(0)

2024年3月21日

数据清洗使用Parallel 多线程

摘要: 一.概述 在开发数据清洗时,ES数据集有600w条,每一条的子对象又有几十条,需要拿到子对象去重后的集合,使用分批提取ES数据,共535批。开始使用List来操作,关键代码如下: var specListAll = new List<SpecInfo>(); for (int i = 0; i < 阅读全文

posted @ 2024-03-21 18:09 花阴偷移 阅读(68) 评论(0) 推荐(0)

2024年2月27日

elasticsearch 在.net core中使用Script脚本批量更新

摘要: 目的: 目前有一家供应商数据有110w条数据,需要每天更新全部数据的Createtime创建时间(创建时间到秒不能全部都是一样的),如果使用es游标或者使用分页查询出来再更新,方案是行不通的,这时想到使用Script脚本来批量更新(半小时内全部更新完成),代码如下所示: /// <summary> 阅读全文

posted @ 2024-02-27 17:05 花阴偷移 阅读(85) 评论(0) 推荐(0)

2024年2月23日

linux cpu 内存分析

摘要: 1.通过分析服务器资源,当发现资源消耗过多时,需要分析什么进程占用了,如下所示 2.分析第一台服务器 通过登录服务器,使用top命令查看,出来信息如下所示: 进程182618的内存占用了52.6%,属于.net应用程序,通过已维护的文档,知道了哪些.net程序的部署了,最终找到是该web应用程序内存 阅读全文

posted @ 2024-02-23 17:50 花阴偷移 阅读(18) 评论(0) 推荐(0)

2024年2月1日

使用chrome 扩展书签自动保存网页,辅助采集

该文被密码保护。 阅读全文

posted @ 2024-02-01 17:21 花阴偷移 阅读(3) 评论(0) 推荐(1)

2024年1月31日

scrapy 响应文本乱码(不支持Brotli解压)

摘要: 一.介绍 在scrapy中,默认不支持Brotli解压,当发现响应乱码时,如何分析确定是由Brotli压缩引起的呢? 1)是看请求头是否有'Accept-Encoding': "gzip, deflate, br" 中的br,如果去掉br 再请求网页,如果响应不成功,则表示服务端只支持br压缩格式, 阅读全文

posted @ 2024-01-31 10:59 花阴偷移 阅读(80) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 9 10 ··· 55 下一页

导航