随笔分类 - 第三方组件
摘要:注意事项 若Es的客户端版本是8.x以下,建议用NEST或者Elasticsearch.Net,这两个包最高只支持7.x系列。 若Es的客户端是8.x以上,则推荐使用Elastic.Clients.Elasticsearch。 注意选择版本的时候最好和客户端版本保持一致。 创建项目 安装nuget包
阅读全文
摘要:GET 搜索请求体中常见参数解析 query:定义搜索条件(如匹配哪些内容)。 match: 匹配查询,用于对指定字段进行全文搜索,对指定字段进行分词后模糊匹配。 _source: 用于指定搜索结果中返回的字段(过滤不需要的字段)。 sort: 用于对搜索结果进行排序。 size:指定从查询匹配的结
阅读全文
摘要:IK分词器介绍 在ElasticSearch中默认使用的分词器为Standard分词器,该分词器对中文不友好,对中文的处理方式是按单个汉字分词,无法识别中文里的词语、短语等语义单元。例如对于 "汉朝" 这个词,默认分词器会将其拆分为 ["汉", "朝"] 两个独立字符,match查询会匹配所有包含
阅读全文
摘要:下载插件并集成到浏览器 在各大浏览器应用商店搜索es-client,这里以edge浏览器作为演示,bing搜索“微软商店 插件 es-clint”,搜索结果第一条记录点击进去. 点击右边的“获取”按钮,将插件添加到浏览器中。这里由于已经安装过了,所以显示的是“删除”。 点击浏览器右上角的插件图标,单
阅读全文
摘要:字符串 文本(Text) 作用:适用于全文搜索的文本字段,例如文章内容、电子邮件正文、产品描述等长文本。 特点:ES会对文本内容进行分词处理,将字符串转换为单个术语的列表,支持全文搜索和模糊查询。但通常不用于排序或聚合。 示例代码: PUT /my_index { "mappings": { "pr
阅读全文
摘要:索引的概念 在ES中,索引(Index) 是核心的数据存储和检索单元,其本质是一组结构相似的文档(Document)的集合,同时包含了文档的元数据(如字段类型、分词器配置)和检索所需的 “倒排索引” 结构。ES软件的索引类似于MySQL中数据库的概念,创建一个索引,类似于创建一个数据库,但功能和设计
阅读全文
摘要:_doc端点 用于对单个****文档的crud操作(如创建、获取、更新、删除单个文档),常见用法如下 向指定索引添加新文档: POST /索引名/_doc ES会自动生成唯一文档ID,例:POST /books/_doc → 向 books索引添加新文档。 根据文档ID创建/更新文档: PUT /索
阅读全文
摘要:下载Kibana安装包 https://www.elastic.co/downloads/past-releases#kibana(如果知道版本号也可以直接将最后的kibana换成对应的版本号) 上图中两个下拉框分别选择对应的产品和版本,选择好之后点击右边蓝色的Download按钮。这里kibana
阅读全文
摘要:下载Es安装包 https://www.elastic.co/downloads/elasticsearch 若要下载历史版本,点击此链接地址:https://www.elastic.co/downloads/past-releases#elasticsearch(如果知道版本号也可以直接将最后的e
阅读全文
摘要:es的概念 Es,全称ElasticSearch,是一个开源的分布式搜索引擎,底层基于 Lucene 实现。 es和传统db数据库的对应关系 传统Db ElasticSearch 数据库(database) 索引(index) 表(tables) 类型(types) 行(rows) 文档(docum
阅读全文
摘要:安装nuget包 Confluent.Kafka 创建主题 有三种方式,一种是在kafka-manager UI界面上创建,一种是在kafka-tool软件上创建,一种是通过代码创建。 kafka-manager: 在kafka-manager界面上创建Cluster,并在该Cluster下创建To
阅读全文
摘要:定义 是一种高吞吐量的分布式发布订阅消息系统。由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 目的 通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时消息。 特点 高吞吐量:可满足每秒百万级别的消息的生产和消费。 持久性:具备一套完整
阅读全文
摘要:吞吐量:kafka对比rabbitmq在处理大数据时表现更出色,吞吐量更高。 扩展性:kafka可通过增加服务器数量来实现水平扩展,而rabbitmq实现扩展的复杂性和成本更高(需要通过多节点集群或镜像队列来实现水平扩展)。 持久化:kafka的数据默认是持久化的(持久化消息到磁盘,并按时间策略自动
阅读全文
摘要:kafka 如何实现主从同步 Kafka通过副本机制来实现主从同步。每个分区都有多个副本,其中一个副本被指定为领导者(Leader),其他副本被指定为追随者(Follower)。Leader负责处理所有的读写请求,而Follower只是简单地复制领导者的数据。 当生产者向Kafka发送消息时,它会将
阅读全文
摘要:介绍 Kafka Tool是一个Kafka的可视化客户端工具,通过它可以查看 Topic 的队列信息、消费者信息以及 kafka 节点信息。 下载地址 https://www.kafkatool.com/download.html 基于自己系统位数下载对应的版本即可,这里我是Windows系统64位
阅读全文
摘要:下载kafka前需要先下载JDK、Scala、ZooKeeper,完成JDK的环境变量配置。 下载地址 Kafka官网地址和阿里云镜像地址:http://kafka.apache.org/、https://mirrors.aliyun.com/apache/kafka/ JDK:https://ww
阅读全文
摘要:集群配置信息 IP 实例名 192.168.12.136 kafka1 192.168.12.137 kafka2 192.168.12.138 kafka3 创建zookeeper集群 有些教程是一个docker-compose文件同时创建zookeeper和kafka实例,本教程未按此方式操作。
阅读全文
摘要:注意事项 网上很多关于通过docker-compose搭建zookeeper的集群是伪集群,即一台机器上部署多个zookeeper实例,也有些集群操作不适合在实际生产环境部署,例如每台集群服务器上同时部署多个zookeeper实例。另外网上很多关于多机器通过docker-compose搭建zooke
阅读全文
摘要:Jenkins使用 1. 修改插件更新地址 左侧界面点击"Manage Jenkins", 右侧界面下方System Configuration区域找到Plugins选项并点击 界面左侧点击“Advanced settings”,界面右侧下方可以看到Update Site区域,URL对应文本框中有个
阅读全文
摘要:Windows11安装Jenkins 1. 下载安装JDK11 从2022年 6 月 28 日发布的 Jenkins 2.357 和2022年9 月发布的 LTS 版本开始,Jenkins 需要 Java 11 才能使用,放弃 Java 8,如果用JDK1.8,那么Jenkins版本需要是2.357
阅读全文

浙公网安备 33010602011771号