摘要：
Elasticsearch7和Elasticsearch8数据批量写入优化 背景 最近写的项目涉及了ES的检索，需要将大量的数据在短时间内写入到ES中，第一版的检索使用的是ES7，第二版添需要做语义检索，所以升级为了ES8 遇到的问题 写入速度极慢，一天最多百万级数据。 当前配置 JDK8 ES7（ 阅读全文
posted @ 2024-01-26 01:19
实习小生
阅读(153)
评论(0)
推荐(0)
摘要：
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chunjun的官网文档对增量同步已经做出了一定的说明 纯钧官方 阅读全文
posted @ 2023-04-12 14:40
实习小生
阅读(403)
评论(1)
推荐(2)
摘要：
通过延时队列和mysql uodate原子性实现延迟任务 背景：公司内部通过at群聊机器人来实现一些功能，例如：@机器人 查询 user 1 这个命令就是查询用户表 id为1的操作，后端对接了机器人，由后端来解析命令 再进行相应的操作。 新需求：延迟执行命令任务，例如：@机器人 延迟执行 1s/1m 阅读全文
posted @ 2025-09-19 10:25
实习小生
阅读(119)
评论(0)
推荐(1)
摘要：
Elasticsearch拼音分词器使用指南 es的拼音分词器是在数据写入的时候将字段的数据转换为拼音 然后再进行分词。 如何使用 ** 索引结构 ** { "settings": { "index": { "analysis": { "analyzer": { "my_pinyin_analyze 阅读全文
posted @ 2025-08-14 18:56
实习小生
阅读(56)
评论(0)
推荐(0)
摘要：
Elasticsearch嵌套类型nested使用指南 嵌套类型nested的特点 可以存储数组对象 每个对象独立存储为隐藏的子文档 嵌套类型nested和object类型的区别和应用场景 nested 每个对象独立存储为隐藏的子文档 适合存储数组 查询的时候有特定的语法 nested查询 且字段要 阅读全文
posted @ 2025-08-14 17:16
实习小生
阅读(215)
评论(0)
推荐(1)
摘要：
ubuntu系统部署elasticsearch-7.17.28 下载 地址：https://www.elastic.co/downloads/past-releases/elasticsearch-7-17-28 解压 使用 tar -zxvf xxx.tar.gz 来解压 创建用户 useradd 阅读全文
posted @ 2025-03-15 15:35
实习小生
阅读(133)
评论(0)
推荐(0)
摘要：
解析JDBC使用游标查询MySQL 使用jdbc查询MySQL数据库，如果使用游标或者流式查询的话，则可以有效解决OOM的问题，否则MySQL驱动就会把数据集全部查询出来加载到内存里面，这样在大数据的情况下会OOM的 不同的查询方式 ResultsetRows 的实现是不一样的！！！ 流式查询【每次 阅读全文
posted @ 2024-12-07 14:42
实习小生
阅读(273)
评论(0)
推荐(0)
摘要：
windows安装MySQL8.4.3LTS 第一步：下载压缩文件 https://dev.mysql.com/downloads/mysql/ 第二步：解压压缩包以及编写配置 my.ini配置 [mysqld] # skip_grant_tables # 设置3306端口 port=3306 # 阅读全文
posted @ 2024-10-27 16:07
实习小生
阅读(965)
评论(0)
推荐(0)
摘要：
如何在服务器上通过ollama部署本地大模型 第一步：下载离线的ollama安装包 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz 第二步：加压安装包到指定的目录 sudo ta 阅读全文
posted @ 2024-10-21 14:19
实习小生
阅读(3879)
评论(0)
推荐(0)
摘要：
flink同步MySQL数据的时候出现内存溢出 背景：需要将1000w的某类型数据同步到别的数据源里面，使用公司的大数据平台可以很快处理完毕，而且使用的内存只有很少很少量(公司的大数据平台的底层是flink，但是连接器使用的是chunjun开源产品)，由于我个人想使用flink原生的连接器来尝试一下 阅读全文
posted @ 2024-10-17 14:17
实习小生
阅读(465)
评论(0)
推荐(3)
摘要：
elasticsearch存储经纬度且按照范围进行查询 背景: 我在客户那边有很多舆情事件数据，数据里面包含的是有经纬度的，项目需求是用户在系统中输入一个地址，系统就可以查询到该地址100米 500米 1000米范围内的事件信息，当然了还可以输入事件的关键信息做模糊查询，所以我选择了使用es来存储引 阅读全文
posted @ 2024-05-21 17:18
实习小生
阅读(485)
评论(0)
推荐(0)
摘要：
SSM使用自定义ConditionalOnProperty实现按需加载spring bean 背景: 公司提供的系统框架是SSM架构，SSM架构是没有springboot的ConditionalOnProperty注解的，而我们的系统是在很多区县部署的，每个区县会有一些定制化需求，其中有一个类只在一 阅读全文
posted @ 2024-04-15 14:44
实习小生
阅读(77)
评论(0)
推荐(0)
浙公网安备 33010602011771号